F&F의 AI Engineering 팀이 Amazon Bedrock을 활용하여 사내 LLM 플랫폼인 'LLM Lite'를 구축하고 운영한 상세 사례를 소개합니다. 생성형 AI 도입 시 조직에서 직면하는 키 발급, 고비용 모델에 대한 승인 절차, 그리고 실시간 사용량 모니터링 및 비용 통제 문제를 해결하는 데 초점을 맞추었습니다. 아키텍처는 LiteLLM을 데이터플레인으로, 클라우드 포털을 컨트롤플레인으로 구성하여 사용자가 3분 만에 셀프서비스로 키를 발급받고 즉시 사용할 수 있는 환경을 구현했습니다. 또한, 예산 초과 시 자동으로 호출을 차단하거나 Slack 및 이메일로 알림을 보내는 강력한 비용 거버넌스 체계를 구축했습니다. 이를 통해 F&F는 AI 활용을 안전하고 효율적으로 전사 확대할 수 있는 기술적 기반을 마련했습니다.