로컬 LLM

Intel Optane PMem으로 1조 파라미터 LLM 로컬 실행 가이드

작성자:

로컬 LLM 1조 파라미터 실행 — 로컬 LLM 1조 파라미터 모델을 768GB Optane PMem + 12GB GPU로 실행하는 방법. MoE 아키텍처 활용, llama.cpp 설정, 메모리 계층화 전략을 단계별로 설명합니다.

Qwen3 35B vs Gemma 4: 32GB VRAM 로컬 LLM 성능 비교

작성자:

로컬 LLM 32GB VRAM 비교 — 로컬 LLM 32GB VRAM 환경에서 Qwen3 35B A3B, Qwen3 27B, Gemma 4 26B, Nemotron 3 Nano 4개 모델을 코드 이해 태스크로 비교 분석. 장문맥 처리 아키텍처와 실제 성능 평가.

Qwen 27B KV 캐시 양자화로 262K 컨텍스트 80+ t/s 달성하기

작성자:

KV 캐시 양자화 추론 최적화 — KV 캐시 양자화와 MTP 결합으로 RTX 4090에서 262K 컨텍스트 기반 80+ t/s 달성. Qwen 27B 모델의 VRAM 병목 해소 및 추론 속도 2배 향상 방법을 상세히 분석합니다.

RTX 4090에서 262K 컨텍스트 달성 — MTP와 TurboQuant 결합 가이드

작성자:

RTX 4090 장문 추론 최적화 — RTX 4090 단일 GPU에서 Qwen 27B 모델로 262K 컨텍스트 조건에서 80~87 t/s를 달성한 실험 결과. MTP 투기적 디코딩과 TurboQuant KV 캐시 압축 결합으로 소비자 GPU의 장문 추론 가능성을…

DGX Spark GB10에서 vLLM 실행하기: 커뮤니티 최적화 설정

작성자:

DGX Spark GB10 vLLM 설정의 실전 가이드. NVIDIA 공식 포럼 기반 커뮤니티 최적화 레시피, 메모리 대역폭 제약 극복 방법, Llama 3.1 벤치마크 결과를 한눈에 정리했습니다.

RTX 4090에서 Qwen 27B를 80+ t/s로 구동하는 MTP·TurboQuant 설정법

작성자:

RTX 4090 LLM 추론 최적화 실험 결과 분석. MTP 드래프트 추론과 TurboQuant KV 캐시 압축으로 Qwen 27B를 80+ t/s로 구동하는 기술 메커니즘, 재현 조건, 한계점을 상세 검토합니다.

Qwen 27B를 RTX 4090에서 80 t/s로 구동하는 LLM 추론 최적화 설정

작성자:

LLM 추론 최적화를 위해 MTP와 TurboQuant를 결합해 단일 RTX 4090 24GB에서 Qwen3.6-27B를 초당 80토큰 이상으로 구동하는 방법. 262K 컨텍스트 처리 시 속도 2배 향상 달성.