AI Agent가 생성하는 데이터가 급증함에 따라, 에이전트의 동작을 이해하기 위한 traces의 중요성이 커지고 있습니다. 이번 글에서는 Fireworks와 협력하여 사용자가 느끼는 오류인 Perceived Error를 감지하는 Qwen judge 모델을 fine-tune한 사례를 소개합니다. 연구 결과, chat-langchain 데이터로 학습시킨 모델이 다른 도메인인 Fleet에서도 높은 성능을 보이며, Claude나 GPT 같은 frontier model에 필적하는 정확도를 유지하면서도 비용은 10~100배 더 저렴하다는 것을 확인했습니다. 이는 특정 목적을 위한 evaluator 모델을 구축하는 것이 비용 효율적인 대안이 될 수 있음을 보여줍니다.