기업에서 다양한 LLM을 사용할 때 발생하는 보안, 비용, 가시성 문제를 해결하기 위해 'LLM Gateway'를 구축한 여정을 소개합니다. Amazon Bedrock, Claude Platform on AWS, 사내 오픈모델을 하나의 엔드포인트로 통합하여 중앙에서 거버넌스를 관리하는 것이 핵심입니다. 인증(VK), 예산 관리, 데이터 보호 및 통합 대시보드를 통한 가시성 확보를 통해 안전하고 지속적인 AI 사용 환경을 구현했습니다. 특히 Amazon EKS와 AWS Fargate를 활용한 Stateless 아키텍처로 트래픽 변화에 유연하게 대응할 수 있도록 설계하였으며, 개발자들은 gateway-cli를 통해 복잡한 설정 없이 SSO 로그인만으로 간편하게 모델을 사용할 수 있습니다.