구글 연구진이 AI 에이전트의 성능을 극대화할 수 있는 새로운 평가 방식인 'EnvHarness'를 공개했습니다! 기존의 AI 벤치마크는 고정된 환경에서 테스트가 이루어져, AI가 정답 패턴만 암기하는 과적합(Overfitting) 문제가 발생하곤 했는데요. EnvHarness는 기존 시뮬레이터를 수정하지 않고도 'Stage', 'Contract', 'Chain'이라는 세 가지 요소를 통해 평가 환경을 동적으로 변화시킵니다. 여기에 LLM 기반의 'EnvRigger'를 더해 AI의 약점을 정밀하게 타격하는 맞춤형 훈련 환경을 제공합니다. 실제로 GPT-4o를 대상으로 테스트한 결과, 문제 해결 능력과 효율성이 크게 향상되는 성과를 거두었습니다. 이 기술은 특정 모델에 종속되지 않는 범용성을 갖추고 있으며, 오픈소스로 공개되어 AI 에이전트 개발의 새로운 패러다임을 제시할 것으로 기대됩니다.