AI 코딩 에이전트를 개발할 때 단순히 전체적인 성능 점수(End-to-end benchmarks)만 확인하는 것은 한계가 있습니다. 이 글에서는 에이전트의 신뢰성을 높이기 위한 'Behavioral evaluations(행동 평가)'의 중요성을 설명합니다. 에이전트가 특정 도구를 올바르게 사용하는지, 질문을 적절히 하는지와 같은 개별적인 행동을 검증함으로써, 모델이 업데이트되거나 프롬프트가 변경되어도 에이전트의 핵심 기능이 망가지지 않도록 관리하는 방법을 다룹니다. 마치 소프트웨어 개발에서 unit test와 integration test를 수행하듯, AI 에이전트에게도 정교한 테스트 환경(Harness)을 구축하는 것이 필수적이라는 내용을 담고 있습니다.