새로운 LLM 모델이 출시될 때마다 리더보드 점수를 확인하곤 하지만, 실제 서비스에 적용했을 때는 기대와 다른 결과가 나올 수 있습니다. 언어의 차이, Reasoning 모드 설정에 따른 성능 변화, 그리고 특정 도메인 지식의 유무 때문인데요. Toss는 이러한 문제를 해결하기 위해 실제 업무 환경을 반영한 'Toss Benchmark'를 구축했습니다. 이 벤치마크는 크게 세 가지를 평가합니다. 첫째, 영어와 한국어 간의 성능 차이를 확인하는 '한국어 범용 성능', 둘째, 프롬프트에 담긴 복잡한 규칙을 얼마나 잘 지키는지 측정하는 'Toss IFBench(정책 준수)', 셋째, 커머스 등 특정 분야의 지식을 얼마나 갖췄는지 확인하는 'Toss Knowledge'입니다. 실제 운영 데이터와 비교해 본 결과, 벤치마크 점수가 높은 모델이 실제 업무에서도 높은 성능을 보이는 강력한 상관관계가 확인되었습니다. Toss는 이 체계를 통해 최적의 모델을 선별하여 사내 GenAI Portal에서 제공하고 있으며, 향후 자체적인 Toss Foundation 모델을 개발하는 핵심 기준으로도 활용할 계획입니다. AI 기술이 실제 비즈니스 현장에서 어떻게 실질적인 가치를 만들어내는지 보여주는 유익한 사례입니다.