LLM의 성능을 평가하는 AI benchmarks에서 질문이 모호하거나, 정답 키가 틀렸거나, 자동 채점 시스템의 오류로 인해 잘못된 결과가 나오는 경우가 발생하고 있습니다. 이러한 결함은 모델 간의 순위를 왜곡하여 평가의 신뢰성을 저해하는 심각한 문제입니다. 이를 해결하기 위해 연구진은 measurement-theoretic methods와 LLM-judge를 활용하여 결함이 있는 질문을 자동으로 식별하는 프레임워크를 제안했습니다. 이 프레임워크는 전문가가 검토해야 할 질문을 효율적으로 필터링해주며, 실제 테스트 결과 GSM8K와 같은 벤치마크에서 높은 정밀도로 결함을 찾아낼 수 있음을 입증했습니다. 이를 통해 AI 평가의 정확성을 높이고, 지속적인 관리가 가능한 신뢰할 수 있는 벤치마크 생태계를 구축하는 데 기여할 것으로 보입니다.