Airbnb에서는 Generative AI 제품을 개발할 때 evaluation을 단순한 사후 작업이 아닌, 핵심적인 engineering discipline으로 다룹니다. LLM의 출력은 비결정적(non-deterministic)이며 "correct"라는 기준이 주관적이기 때문에, Airbnb는 'Eval-driven development (EDD)'라는 방식을 통해 제품의 품질을 관리합니다. EDD는 단순히 실패를 예측하는 것이 아니라, failure modes를 발견하고 인코딩하며 지속적으로 테스트할 수 있는 인프라와 습관을 구축하는 것을 의미합니다. 평가 방법으로는 세 가지 계층이 있습니다: 1. Programmatic checks: 빠르고 리소스가 적게 드는 코드 기반의 체크 2. LLM-as-a-Judge: 더 강력한 LLM을 사용하여 품질 문제를 포착하는 방식 3. Human evaluation: ground truth를 검증하고 edge cases를 해결하기 위한 최종 단계 특히 Agentic systems의 경우, 단순히 최종 결과물만 보는 것이 아니라 Step-level, Trajectory-level, Session-level의 세 가지 레이어에서 평가를 진행하여 시스템 전체의 신뢰성을 확보합니다. 데이터 기반의 반복적인 테스트와 정교한 Rubric 설계, 그리고 팀 간의 지속적인 협업이 성공적인 AI 제품 구축을 위한 핵심 요소입니다.