토스에서는 서비스 팀들이 Generative AI를 더 쉽고 안전하게 사용할 수 있도록 GenAI Platform을 운영하고 있어요. GenAI Portal을 통해 모델 사용 신청과 비용, 권한을 관리하고, GenAI Gateway가 실제 요청을 처리하며 보안 가드레일과 사용량 제한을 적용합니다. 또한, 데이터 민감도에 따른 등급 관리와 SLA(Service Level Agreement)를 통한 처리 용량 최적화, 그리고 Langfuse를 활용한 트레이싱 기능까지 제공하여 서비스 팀이 인프라 고민 없이 제품의 핵심 기능 구현에만 집중할 수 있는 환경을 만들고 있습니다.