LangChain에서 새로운 'Eval Engineering Skill'을 출시했습니다! 이 기술은 코딩 에이전트가 repository의 context와 agent traces를 활용하여 효율적으로 eval을 구축할 수 있도록 도와주는 도구입니다. 이 skill은 에이전트의 구조를 분석하고, traces에서 패턴을 찾아내어 테스트가 필요한 능력을 제안합니다. 사용자는 에이전트와 인터뷰를 주고받으며 각 eval을 반복적으로 승인할 수 있으며, 최종 결과물은 Harbor format의 실행 가능한 eval 세트로 생성됩니다. 특히 Dockerfile을 포함한 environment와 verifier를 통해 에이전트가 작업을 올바르게 수행했는지 측정합니다. 이러한 반복적인 프로세스는 agent의 성능을 지속적으로 개선하고, production 환경에서의 실패 사례를 방지하는 데 매우 중요합니다.