이 내용은 Microsoft Research의 Jennifer Neville 파트너 리서치 매니저와 Chad Atalla 수석 응용 과학자가 나눈 대담을 담고 있습니다. Neville은 수학, 물리학, cognitive science를 거쳐 computer science와 AI 분야에 정착하게 된 그녀의 독특한 커리어 여정을 공유합니다. 주요 연구 주제는 AI 시스템이 실제 사용자의 복잡한 workflow와 multiturn interaction 환경에서 어떻게 작동하는지를 평가하고 개선하는 것입니다. 특히, 기존의 단순한 benchmarks에서는 잘 작동하던 모델이 실제 사용자의 불완전한 지시나 긴 대화 과정에서는 성능이 저하되는 'surprising failures' 현상에 대해 심도 있게 다룹니다. 또한 학계와 산업계 연구의 차이점, 대규모 데이터를 활용한 프라이버시 보호 기반의 사용자 패턴 분석 방법 등에 대해서도 유익한 통찰을 제공합니다.