LLM 프로덕션 배포 최적화: vLLM·양자화·병렬화 실전 가이드
LLM 프로덕션 배포 시 양자화·병렬화·추론 최적화를 조합하면 처리량이 3~5배 달라집니다. vLLM·AWQ·텐서 병렬화 실전 설정과 A100 기준 벤치마크를 정리했습니다.
vLLM
DGX Spark GB10에서 vLLM 실행하기: 커뮤니티 최적화 설정
DGX Spark GB10 vLLM 설정의 실전 가이드. NVIDIA 공식 포럼 기반 커뮤니티 최적화 레시피, 메모리 대역폭 제약 극복 방법, Llama 3.1 벤치마크 결과를 한눈에 정리했습니다.
vLLM ROCm AMD GPU 설치 및 설정 가이드
vLLM ROCm AMD GPU — vLLM ROCm 백엔드가 Lemonade에 통합되어 AMD GPU에서 .safetensors 모델을 GGUF 변환 없이 직접 실행 가능. PagedAttention 기반 효율적 추론, 설치 및 사용법, 한계점까지 상세 분석.