LangChain의 LangSmith에서 새로운 기능인 'Align Evals'를 출시했습니다. 이 기능은 LLM 애플리케이션을 평가할 때 발생하는 문제 중 하나인 'LLM의 평가 점수와 인간의 판단 사이의 불일치'를 해결하기 위해 설계되었습니다. 사용자는 'LLM-as-a-judge' 방식을 사용할 때, 인간이 매긴 점수(Golden set)를 기준으로 LLM 평가자가 얼마나 일치하는지 확인하고, 프롬프트를 반복적으로 수정하며 최적의 평가 모델을 만들 수 있습니다. 이를 통해 더 정확하고 신뢰할 수 있는 LLM 애플리케이션 개발이 가능해집니다.