TPU에서 Ray AI 라이브러리 실행하기 (Part 2)
역량 개발 · Google 테크 · 2026.07.24
이 글은 TPU 환경에서 Ray AI 라이브러리를 효과적으로 사용하는 방법에 대한 두 번째 가이드입니다. Part 1에서 다룬 GKE와 Ray Core를 바탕으로, 실제 개발에 사용되는 Ray Serve, Ray Data, 그리고 Ray Train의 활용법을 설명합니다. 특히 LLM 서빙을 위한 Ray Serve의 topology 설정 방법, JAX 배열을 활용해 데이터 병목 현상을 줄이는 Ray Data의 iter_jax_batches, 그리고 JAX를 활용한 분산 학습을 지원하는 JaxTrainer에 대해 자세히 다루고 있습니다. TPU 환경에서 AI 워크로드를 최적화하려는 개발자분들에게 유용한 정보가 될 것입니다.