로컬 LLM 실험실

로컬 LLM 모델, VRAM, llama.cpp, vLLM 등 로컬 추론 실험 시리즈

DGX Spark GB10에서 vLLM 실행하기: 커뮤니티 최적화 설정

작성자:

DGX Spark GB10 vLLM 설정의 실전 가이드. NVIDIA 공식 포럼 기반 커뮤니티 최적화 레시피, 메모리 대역폭 제약 극복 방법, Llama 3.1 벤치마크 결과를 한눈에 정리했습니다.

EMO MoE 모델 라우팅: EMO 모델 문서 수준 라우팅 방식 완벽 가이드

작성자:

EMO MoE 모델 라우팅 — EMO MoE 모델의 문서 수준 라우팅 메커니즘을 상세 분석합니다. 토큰 단위 라우팅의 한계를 극복하고 도메인 특화 전문가를 구성하는 AI2의 혁신 기술을 알아보세요.

RTX 4090에서 Qwen 27B를 80+ t/s로 구동하는 MTP·TurboQuant 설정법

작성자:

RTX 4090 LLM 추론 최적화 실험 결과 분석. MTP 드래프트 추론과 TurboQuant KV 캐시 압축으로 Qwen 27B를 80+ t/s로 구동하는 기술 메커니즘, 재현 조건, 한계점을 상세 검토합니다.

Qwen 27B를 RTX 4090에서 80 t/s로 구동하는 LLM 추론 최적화 설정

작성자:

LLM 추론 최적화를 위해 MTP와 TurboQuant를 결합해 단일 RTX 4090 24GB에서 Qwen3.6-27B를 초당 80토큰 이상으로 구동하는 방법. 262K 컨텍스트 처리 시 속도 2배 향상 달성.