LLM 기반 시스템을 개발할 때, 벤치마크 점수가 높다고 해서 실제 production 환경에서도 완벽하게 작동한다는 보장은 없습니다. GitHub의 사례를 통해, LLM 시스템을 production 환경에 성공적으로 배포하기 위한 8가지 핵심 평가 전략을 소개합니다. 제품의 목표를 먼저 정의하고, precision과 recall 사이의 trade-off를 고려하며, offline evaluation을 통합 테스트처럼 관리하는 것이 중요합니다. 또한 error analysis를 통해 근본적인 원인을 파악하고, LLM-as-judge를 활용해 효율적인 human review 체계를 구축하는 방법 등 실무에서 바로 활용할 수 있는 인사이트를 담고 있습니다. AI 및 제품 기획 직군을 희망하는 분들에게 매우 유용한 가이드가 될 것입니다.