Voice Agent를 성공적으로 구축하기 위해서는 단순히 대화가 가능한 것을 넘어, 자연스러운 흐름을 유지하고 사용자의 문제를 해결하며 비즈니스 목표를 달성하는 능력이 필수적입니다. 본 글에서는 LangSmith를 활용하여 Voice Agent를 효과적으로 평가하는 세 가지 핵심 차원을 소개합니다. 첫째, Execution입니다. Agent가 설계된 지침을 정확히 따랐는지(도구 호출 순서, 정보 수집 등)를 확인합니다. 둘째, Outcome입니다. 대화가 의도한 목표(예약 완료, 문제 해결 등)를 실제로 달성했는지 측정합니다. 셋째, Experience입니다. 대화의 응답 속도(Latency)와 자연스러움, 그리고 대화 중 발생하는 마찰 등을 평가하여 사용자 경험을 점검합니다. LangSmith는 Code evaluators, LLM judges, Audio-aware LLM judges 등을 통해 이러한 지표들을 체계적으로 관리할 수 있게 해주며, 이를 통해 지속적인 개선 루프를 구축하고 모델이나 프롬프트의 변경 사항을 효과적으로 비교할 수 있도록 돕습니다.