코드 리뷰 에이전트의 성능을 정확하게 평가하는 것은 매우 어려운 과제입니다. 기존의 벤치마크들은 실제 개발 환경에서 적용되는 내부 기준을 충분히 반영하지 못하는 경우가 많기 때문인데요. 이를 해결하기 위해 LangChain 팀은 실제 PR(Pull Request) 피드백을 기반으로 한 ReviewBench를 개발했습니다. ReviewBench는 단순히 코드를 스캔하는 것을 넘어, 시스템의 암묵적인 규칙이나 API 호환성 같은 복잡한 이슈를 에이전트가 얼마나 잘 찾아내는지 측정합니다. 이 과정에서 Harbor 형식을 사용하여 검증 가능한 태스크를 생성하며, 에이전트가 찾아낸 결과의 Coverage와 Precision을 바탕으로 F1 score를 산출합니다. 실험 결과, 현재의 모델들은 기본적인 환경에서는 많은 이슈를 놓치는 경향이 있었지만, 리뷰 전략을 구체화하는 프롬프팅(Prompting)을 적용했을 때 성능이 크게 향상되는 것을 확인했습니다. 이는 코드 리뷰 에이전트의 성능을 높이기 위해 모델 자체의 교체뿐만 아니라, 어떻게 리뷰를 수행할지에 대한 전략적인 접근이 매우 중요하다는 것을 시사합니다.