AI 모델이 실제 기업과 연구 현장에서 분석가 역할을 얼마나 안정적으로 수행할 수 있는지를 평가하는 새로운 벤치마크인 ‘AA-애널리스트에이전트(AA-AnalystAgent)’가 공개되었습니다. 아티피셜 애널리시스(AA)에서 발표한 이 벤치마크는 단순한 계산 능력을 넘어 자료 해석, 전문적 판단, 그리고 반복 수행의 신뢰성을 측정하는 데 중점을 둡니다. 테스트는 의료 지출 보고서, 무역 통계, 재무 모델 등 14개 비즈니스 및 과학 분야의 80개 문제를 대상으로 진행되었습니다. 특히 AI 에이전트의 일관성을 확인하기 위해 동일 과제를 5회 독립적으로 수행하여 모두 정답을 맞혀야 통과하는 ‘pass^5’ 지표를 핵심으로 사용했습니다. 평가 결과, '클로드 오퍼스 5'가 pass^5 기준 54%를 기록하며 가장 높은 신뢰성을 가진 모델로 1위에 올랐습니다. 'GPT-5.5'는 단일 시도 성공률인 pass@1에서 66%로 가장 높은 성적을 거두었으나, 반복적인 신뢰성 측면에서는 오퍼스 5에 뒤처졌습니다. 이번 결과는 AI 에이전트가 실무 환경에서 활용되기 위해서는 우연한 정답보다 재검증 없이도 믿을 수 있는 반복적인 결과 도출 능력이 매우 중요하다는 점을 시사합니다.