Google에서 PyTorch 개발자들이 익숙한 도구를 사용하여 TPU에서 대규모 AI 워크로드를 효율적으로 실행할 수 있도록, vLLM 및 SGLang을 위한 native PyTorch backend를 출시했다는 소식입니다! 이번 발표는 TorchTPU를 기반으로 하며, 개발자들이 기존 PyTorch 환경에서 TPU의 고성능을 그대로 활용할 수 있게 해줍니다. Agentic 및 Multimodal 워크로드와 같은 최신 AI 요구사항을 완벽하게 지원하며, Speculative decoding이나 KV cache offloading 같은 고급 기능들도 포함되어 있습니다. Meta와 같은 기업에서도 이미 실제 서비스에 활용하고 있을 만큼 검증된 성능을 자랑하며, Ironwood TPU를 통해 매우 효율적인 비용으로 고성능 추론이 가능합니다. AI 인프라와 추론 최적화 기술에 관심 있는 분들이라면 꼭 주목해야 할 소식이에요.