AI agent을 개발할 때, 결과물이 매번 달라지는 non-deterministic한 특성 때문에 테스트하기가 참 어렵죠? Similarweb의 Senior AI engineer인 Liora Korni는 LangSmith를 사용하여 이 문제를 어떻게 해결했는지 공유하고 있어요. 단순한 Golden Answer 방식은 일반적인 채팅에는 적합하지만, 심층적인 리서치 보고서를 만드는 Agentic system에는 한계가 있다고 해요. 그래서 Similarweb는 LLM-as-a-judge 방식을 도입하여, rubric을 기반으로 품질의 각 측면을 점수화하고 그 이유를 설명하도록 설계했습니다. 특히 LangSmith를 활용해 평가 점수, 평가자의 의견(comment), 그리고 실제 실행 과정인 trace를 하나로 연결함으로써, 점수가 왜 그렇게 나왔는지 직접 확인하고 디버깅할 수 있는 워크플로우를 구축했다고 합니다. 이를 통해 miscalibrated rubric으로 인해 발생하는 시행착오를 줄이고, 더 정교한 AI 에이전트를 만들어 나갈 수 있게 되었답니다.