카카오모빌리티 LLM Platform TF에서 AI 기능을 더 빠르고 안정적으로 도입하기 위해 구축한 AI Agent Admin과 AI Gateway에 대한 이야기입니다. 기존에는 프롬프트를 수정할 때마다 코드 배포가 필요해 협업이 어렵고 속도가 느리다는 문제점이 있었습니다. 이를 해결하기 위해 프롬프트 관리를 코드와 분리하여, 비개발자도 Playground에서 즉시 테스트하고 이력을 관리하며 협업할 수 있는 AI Agent Admin을 만들었습니다. 또한, 서비스가 복잡한 인증 과정 없이 API 하나로 쉽게 AI 기능을 연동할 수 있도록 AI Gateway를 구축했습니다. 이를 통해 프롬프트 수정과 서비스 배포를 분리함으로써, AI 기능의 출시와 개선 속도를 획기적으로 높일 수 있었습니다.