GS리테일이 구축한 전사 AI Gateway를 실제 수천 명의 사용자가 사용하는 플랫폼으로 운영하기 위해 적용한 다양한 기술적 해결책을 소개하는 글입니다. 사용자 온보딩 자동화, 예산 기반의 모델 라우팅, 비용 효율적인 자체 가드레일 구현, 그리고 Amazon S3와 Amazon DynamoDB를 활용한 체계적인 감사 로그 저장 방식 등을 다루고 있습니다. 또한, Web Search 기능 확장과 M365 연동을 위한 Server Side 방식의 구현 사례를 통해, 기업이 AI를 단순 도입하는 것을 넘어 어떻게 안정적이고 효율적인 운영 플랫폼으로 발전시킬 수 있는지에 대한 인사이트를 제공합니다.