LLM 프로덕션 배포 최적화: vLLM·양자화·병렬화 실전 가이드
LLM 프로덕션 배포 시 양자화·병렬화·추론 최적화를 조합하면 처리량이 3~5배 달라집니다. vLLM·AWQ·텐서 병렬화 실전 설정과 A100 기준 벤치마크를 정리했습니다.
추론 최적화
vLLM ROCm AMD GPU 설치 및 설정 가이드
vLLM ROCm AMD GPU — vLLM ROCm 백엔드가 Lemonade에 통합되어 AMD GPU에서 .safetensors 모델을 GGUF 변환 없이 직접 실행 가능. PagedAttention 기반 효율적 추론, 설치 및 사용법, 한계점까지 상세 분석.