LangChain의 LangSmith Evals 플랫폼에서 새로운 평가 모델인 Jev를 사용할 수 있게 되었습니다! Jev는 System One model로서, 기존의 LLM-as-a-judge 방식보다 훨씬 빠르고 저렴하게 agent의 행동을 평가할 수 있는 혁신적인 도구입니다. 기존 방식은 비용이 많이 들거나 속도가 느린 단점이 있었지만, Jev는 약 450배 저렴하고 200배 빠른 속도를 자랑하며, 구조화된 피드백을 제공합니다. 이를 통해 개발자들은 PII leakage나 사용자 의도 파악 같은 다양한 기준을 병렬로, 실시간에 가깝게 평가하며 agent의 성능을 개선할 수 있습니다. 지금 바로 LangSmith에서 Jev를 경험해 보세요!