DistServe

이종 GPU 클러스터 LLM 추론 — 이종 GPU 클러스터를 활용한 LLM 추론 최적화 방법을 알아봅시다. Blackwell GPU 프리필과 고메모리 노드 디코드 분리, RDMA 기반 KV Cache 전달 메커니즘을 상세 분석합니다.