LLM 애플리케이션의 성능을 평가하는 것은 매우 중요한 과정입니다. 하지만 자연어로 생성된 결과물을 정확히 측정하기란 쉽지 않죠. 이를 위해 LLM을 평가자로 활용하는 'LLM-as-a-Judge' 방식이 주목받고 있지만, 평가 모델의 프롬프트를 최적화하는 과정에서 많은 노력이 필요하다는 단점이 있었습니다. LangSmith는 이 문제를 해결하기 위해 'self-improvement' 기능을 선보였습니다. 사용자가 LLM의 평가 결과에 대해 직접 수정한 내용을 few-shot examples로 저장하고, 이를 다음 평가 시 프롬프트에 자동으로 반영하는 방식입니다. 덕분에 개발자들은 복잡한 prompt engineering 없이도 인간의 선호도를 반영하는 정교한 평가 시스템을 구축하고, 시간이 흐를수록 스스로 발전하는 AI 평가 환경을 경험할 수 있습니다.