Meta가 Instagram과 Facebook의 광고 추천을 담당하는 foundation model인 GEM(Generative Ads Recommendation Model)의 학습 효율성을 어떻게 두 배로 높였는지에 대한 기술적 상세 내용을 담고 있습니다. LLM 규모의 대규모 학습 과정에서 발생하는 GPU 활용도 저하와 통신 오버헤드 문제를 해결하기 위해, Meta는 kernel design, precision, parallelism, networking, memory를 통합적으로 고려한 co-design 방식을 채택했습니다. 구체적으로는 Jagged Flash Attention(JFA), GDPA와 같은 커스텀 kernel 라이브러리, MXFP8을 활용한 ultra-low precision training, 그리고 topology-aware 5D parallelism 등의 혁신적인 기술을 통해 학습 효율성을 극대화했습니다. AI 인프라와 추천 시스템의 접점에서 발생하는 복잡한 엔지니어링 과제들을 어떻게 해결했는지에 대한 깊이 있는 통찰을 제공합니다.