Candidly는 AI 금융 플래너인 Cait를 운영하며, 대화가 종료된 후 결과를 확인하는 사후 평가(Ex-Post Evaluation)를 넘어, 대화 도중에 실시간으로 상태를 파악하고 대응하는 '상태 인식형 에이전트 하네스(State-Aware Agent Harnesses)'를 구축하는 방법을 공유합니다. 이들은 대화의 흐름(trace)을 분석하여 사용자의 참여 상태를 네 가지(Engaged, Detailed, Guided, Disengaging)로 분류하는 IO-HMM 모델을 도입했습니다. 이를 통해 대화가 중단될 가능성이 높은 'Disengaging' 상태를 감지하고, 적절한 응답 피처(Q/A alignment, Topic continuity 등)를 사용하여 사용자를 더 긍정적인 상태로 유도하는 정책(Policy)을 실행합니다. 이러한 접근 방식은 단순한 성과 측정을 넘어, 에이전트가 대화 도중에 실시간으로 최적의 행동을 결정할 수 있는 '제어 신호(Control Signal)'로서의 평가를 가능하게 합니다.