GS리테일이 다양한 생성형 AI 서비스를 안전하고 효율적으로 관리하기 위해 구축한 '전사 AI Gateway'에 대한 이야기입니다. 여러 팀에서 개별적으로 도입하는 AI 도구들로 인해 발생하는 인증, 비용 관리, 보안 문제를 해결하기 위해 LiteLLM과 Amazon Bedrock을 활용한 아키텍처를 설계했습니다. 특히 Virtual Key를 통한 중앙 인증 구조, AWS 계정을 활용한 크로스 계정 라우팅을 통해 비용과 쿼터를 팀 단위로 관리하며, 계정 생성 및 온보딩 과정을 자동화하여 운영 효율성을 극대화한 사례를 상세히 소개하고 있습니다.