현재 Agent evaluation 방식은 code-based와 LLM-as-judge 두 가지가 주를 이루고 있지만, 각각 범위의 제한이나 비용 및 신뢰성 측면에서 한계가 있습니다. TypeSafe AI에서 새롭게 출시한 Jev는 'System One' 모델로서, 텍스트를 생성하는 대신 구조화된 결정과 확률을 반환하여 기존 LLM보다 최대 200배 빠른 추론 속도와 400배 낮은 비용을 제공합니다. Jev는 Choice, Score, Noul과 같은 세 가지 유형의 질문을 통해 정교한 평가를 수행할 수 있습니다. 실험 결과, Jev는 기존 모델들에 비해 정확도가 높고 variance가 매우 낮아 일관된 평가가 가능했습니다. 이러한 기술적 진보는 개발자들이 더 많은 데이터를 실시간으로 모니터링하며 신뢰할 수 있는 Agent를 구축하는 데 큰 도움을 줄 것입니다.