LangChain에서 conversational agent의 품질을 효율적으로 평가할 수 있는 'Tuned Evaluators'를 새롭게 선보였습니다! 기존에는 frontier model을 사용하여 Perceived Error를 평가할 때 비용이 많이 들고 규모를 키우기 어려웠는데요. 이제 Tuned Evaluators를 통해 특정 목적에 맞게 post-trained된 전문 모델을 사용하여, 비용은 획기적으로 낮추면서도 정확도는 높인 평가가 가능해졌습니다. 이를 통해 팀들은 production trace에서 발생하는 오류를 자동으로 감지하고, 에이전트의 성능을 지속적으로 개선할 수 있는 강력한 워크플로우를 구축할 수 있습니다.