AI 에이전트를 개발하고 배포할 때, 에이전트가 의도한 대로 동작하는지 확인하는 과정은 매우 중요합니다. 하지만 에이전트는 일반적인 소프트웨어와 달리 출력값이 가변적이고 정답이 여러 개일 수 있어 테스트하기가 까다롭습니다. 이 글에서는 이러한 문제를 해결하기 위한 'Agent Evals'의 개념부터 시작하여, 에이전트 동작을 이해하는 방법(Trace 활용), Offline 및 Online Evals의 차이점, 그리고 LLM-as-a-judge와 같은 다양한 Evaluator 유형을 상세히 설명해 드립니다. 또한, 비용 효율적인 평가 방법과 LangSmith를 활용하여 프레임워크에 상관없이 에이전트를 트레이싱하고 평가하는 방법까지, 에이전트 엔지니어링 역량을 키우고 싶은 분들을 위한 핵심 정보를 담고 있습니다.