LLM 기반 Agent를 운영할 때 발생하는 느린 속도와 높은 비용 문제를 해결하기 위한 새로운 모델, Jev를 소개합니다! TypeSafe AI에서 출시한 Jev는 텍스트를 생성하는 전통적인 LLM과 달리, 소프트웨어가 즉시 사용할 수 있는 구조화된 결정을 내리는 'System One' 모델입니다. 분류 작업에서 기존 LLM보다 최대 200배 빠르고 비용은 400배나 저렴하다는 놀라운 성능을 자랑해요. Choice, Score, Noul과 같은 세 가지 질문 유형을 통해 확률값을 반환하며, LangChain과도 쉽게 연동할 수 있습니다. 이를 활용하면 모델 라우팅이나 에이전트의 위험한 행동을 차단하는 Auto Mode 같은 기능을 효율적으로 구현할 수 있습니다.