HeyGen이 Google Cloud와 협력하여 자사의 AI 비디오 생성 플랫폼인 Avatar IV를 TPU(Trillium v6e) 환경에서 최적화했다는 소식입니다. 이번 협업을 통해 Avatar IV의 성능을 기존 대비 1.86배 향상시켰으며, 8xH100 GPU 설정과 유사한 성능을 내면서도 비용 효율성은 약 25% 개선했습니다. 주요 기술적 성과로는 Pallas kernel 활용, XLA 컴파일러 최적화, Ulysses sequence parallelism 적용 등이 있으며, 이를 통해 비디오 생성 파이프라인의 지연 시간을 획기적으로 줄였습니다. AI 인프라 및 모델 최적화 기술에 관심 있는 분들에게 매우 유익한 사례입니다.