Amazon EKS의 GPU 노드에서 Gemma 4 31B 모델을 vLLM으로 서빙할 때, throughput과 latency를 동시에 최적화하는 방법을 다루고 있습니다. 주요 연구 결과에 따르면, NVFP4 정밀도를 사용할 경우 SLO(Service Level Objective)를 만족하는 조건에서 BF16 대비 최대 6.3배의 throughput 향상을 기대할 수 있습니다. 또한, speculative decoding은 throughput을 높여주지만 토큰 간 latency를 늘릴 수 있어 배치 작업에 더 적합하며, prefix caching의 적중률이 GPU당 throughput에 매우 큰 영향을 미친다는 점을 확인할 수 있습니다. 마지막으로, 트래픽의 특성에 따라 대화형과 배치성 워크로드를 분리하여 최적의 설정을 적용하는 서빙 풀 구성 전략을 제안합니다.