최근 AI 아키텍처에서 embedding models는 텍스트, 이미지, 오디오와 같은 비정형 데이터를 dense vector math로 변환하여 semantic search나 추천 시스템의 핵심 역할을 수행하고 있습니다. Google Cloud는 이러한 embedding models를 대규모로 효율적으로 서비스하기 위해 vLLM 엔진에 TPU 지원을 통합했습니다. 이를 통해 GKE의 Custom Compute Classes를 활용하여 트래픽 변화에 따라 컴퓨팅 자원을 유연하게 확장할 수 있는 탄력성을 확보했습니다. 특히 Qwen3 Embedding model 시리즈를 대상으로 TPU 하드웨어에 최적화된 기술들을 적용하여, 긴 문맥(long-context) 처리 시에도 높은 정밀도와 성능을 유지할 수 있도록 구현했습니다. 이제 개발자들은 AI-Hypercomputer Public Repository를 통해 공개된 레시피를 사용하여 Cloud TPU에서 고성능 임베딩 워크로드를 신속하게 배포할 수 있습니다.