Google의 엔지니어링 팀이 Qwen 3.5-397B MoE 모델을 Ironwood (TPU v7x) 하드웨어에서 최적화한 기술적 방법론을 소개합니다. 대규모 MoE 모델 배포 시 발생하는 메모리 및 연산 병목 현상을 해결하기 위해, 팀은 모델을 개별적인 빌딩 블록(Batched RPA, Grouped GEMMs 등)으로 분해하여 최적화하는 모듈형 전략을 사용했습니다. 이를 통해 Decode-heavy 워크로드에서는 약 3.1배, Prefill-heavy 워크로드에서는 약 4.7배의 성능 향상을 달성했습니다. 이 기술은 vLLM과 SGLang 같은 오픈소스 프레임워크에도 통합되어 기업들이 대규모 모델을 효율적으로 운영할 수 있도록 돕습니다.