LLM의 성능을 평가할 때 단순히 정답률(Accuracy)만 보는 것이 아니라, 정보가 부족하거나 잘못된 질문에 대해 "모른다"고 답할 수 있는 'Abstention(기권·회피)' 능력이 매우 중요하다는 내용을 담고 있습니다. 최신 연구인 AbstentionBench와 RefusalBench를 통해, 모델의 크기를 키우거나 Reasoning 능력을 강화하는 것이 반드시 이 능력을 향상시키지는 않는다는 반직관적인 사실을 설명합니다. 오히려 특정 학습 방식이 모델을 더 단정적으로 만들어 이 능력을 저해할 수도 있습니다. 따라서 신뢰할 수 있는 AI를 만들기 위해서는 불확실성을 인식하고 적절히 거부하는 능력을 별도의 평가 및 학습 목표로 설정해야 한다는 인사이트를 제공합니다.