DGX Spark GB10에서 vLLM 실행하기: 커뮤니티 최적화 설정
DGX Spark GB10 vLLM 설정의 실전 가이드. NVIDIA 공식 포럼 기반 커뮤니티 최적화 레시피, 메모리 대역폭 제약 극복 방법, Llama 3.1 벤치마크 결과를 한눈에 정리했습니다.
vLLM
vLLM ROCm AMD GPU 설치 및 설정 가이드
vLLM ROCm AMD GPU — vLLM ROCm 백엔드가 Lemonade에 통합되어 AMD GPU에서 .safetensors 모델을 GGUF 변환 없이 직접 실행 가능. PagedAttention 기반 효율적 추론, 설치 및 사용법, 한계점까지 상세 분석.