Qwen 27B

BeeLlama.cpp로 RTX 3090에서 27B 모델 200k 컨텍스트 구동하기

작성자:

BeeLlama.cpp 로컬 추론 — BeeLlama.cpp는 DFlash 스펙큘레이티브 디코딩과 TurboQuant 압축으로 RTX 3090에서 Qwen 27B 모델을 200k 컨텍스트로 구동합니다. 베이스라인 대비 2~3배 처리량 향상, 135 tps 달성…

RTX 4090에서 262K 컨텍스트 달성 — MTP와 TurboQuant 결합 가이드

작성자:

RTX 4090 장문 추론 최적화 — RTX 4090 단일 GPU에서 Qwen 27B 모델로 262K 컨텍스트 조건에서 80~87 t/s를 달성한 실험 결과. MTP 투기적 디코딩과 TurboQuant KV 캐시 압축 결합으로 소비자 GPU의 장문 추론 가능성을…