AI/ML

AI 모델, 머신러닝, 딥러닝

LLM 프로덕션 배포 최적화: vLLM·양자화·병렬화 실전 가이드

작성자:

LLM 프로덕션 배포 시 양자화·병렬화·추론 최적화를 조합하면 처리량이 3~5배 달라집니다. vLLM·AWQ·텐서 병렬화 실전 설정과 A100 기준 벤치마크를 정리했습니다.

Intel Optane PMem으로 1조 파라미터 LLM 로컬 실행 가이드

작성자:

로컬 LLM 1조 파라미터 실행 — 로컬 LLM 1조 파라미터 모델을 768GB Optane PMem + 12GB GPU로 실행하는 방법. MoE 아키텍처 활용, llama.cpp 설정, 메모리 계층화 전략을 단계별로 설명합니다.

Qwen3 35B vs Gemma 4: 32GB VRAM 로컬 LLM 성능 비교

작성자:

로컬 LLM 32GB VRAM 비교 — 로컬 LLM 32GB VRAM 환경에서 Qwen3 35B A3B, Qwen3 27B, Gemma 4 26B, Nemotron 3 Nano 4개 모델을 코드 이해 태스크로 비교 분석. 장문맥 처리 아키텍처와 실제 성능 평가.

NVIDIA Star Elastic 단일 체크포인트 추론 제어 가이드

작성자:

Star Elastic 추론 제어는 NVIDIA가 공개한 단일 체크포인트 기반 스펙트럼 추론 기술입니다. Gumbel-Softmax 라우터로 30B, 23B, 12B 모델을 제로샷 슬라이싱하여 사고·답변 단계별 동적 용량 할당을 구현하는 방법을 알아보세요.