인프랩의 DevOps 엔지니어가 LLM API 사용량을 효율적으로 관리하기 위해 구축한 AI Gateway 사례를 공유해 드립니다. 기존에는 서비스마다 API 키가 흩어져 있고, 모델 업데이트 주기가 빨라 관리가 어려웠으며, 비용 추적이 불가능하다는 문제가 있었습니다. 이를 해결하기 위해 Envoy AI Gateway를 도입하여 모델을 'low', 'medium', 'high'와 같은 등급으로 추상화하고, 중앙에서 라우팅과 인증을 제어하도록 설계했습니다. 그 결과, LLM 비용을 약 78% 절감하고 모델 교체 및 사용량 관리를 훨씬 간편하게 만들 수 있었습니다.