최근 정신 건강 분야에서 Language Models를 활용하여 환자를 돕고자 하는 관심이 높아지고 있습니다. 하지만 기존의 의료 AI 벤치마크는 단순한 지식 암기 위주의 시험 문제에 치중되어 있어, 실제 임상 현장의 복잡하고 모호한 의사결정 과정을 반영하지 못한다는 한계가 있습니다. 이를 해결하기 위해 연구진은 실제 정신과 전문의들이 직접 참여하여 만든 MENTAT(MENtal health Tasks AssessmenT) 데이터셋을 소개합니다. MENTAT는 Diagnosis, Treatment, Monitoring, Triage, Documentation이라는 5가지 핵심 영역을 다루며, 실제 임상 상황의 복잡성을 반영하도록 설계되었습니다. 연구 결과에 따르면, Language Models는 단순 지식 기반의 Diagnosis와 Treatment에는 강점을 보였으나, 복잡하고 모호성이 높은 Triage와 Documentation 작업에서는 성능이 크게 저하되었습니다. 또한, 환자의 인종, 성별, 연령에 따라 모델의 정확도가 달라지는 Bias 문제도 발견되었습니다. 이번 연구는 AI가 실제 의료 현장에 안전하게 적용되기 위해서는 단순한 정답 맞히기를 넘어, 임상적 추론 능력과 공정성을 확보하는 것이 매우 중요하다는 점을 시사합니다.