AI Agent가 점점 더 복잡한 작업을 수행함에 따라, 단순히 결과값만 확인하는 것을 넘어 Human review가 매우 중요해지고 있습니다. 이 글에서는 효과적인 Human-in-the-loop(HITL) 워크플로우를 위한 세 가지 원칙을 제시합니다. 첫째, 전문가의 판단이 무엇이 '좋은 결과'인지 정의하는 기준이 됩니다. 둘째, 단일 단계가 아닌 전체 대화 맥락인 Thread를 파악해야 정확한 판단이 가능합니다. 셋째, 인간의 피드백을 재사용 가능한 평가 데이터인 Ground truth로 전환하여 LLM judge를 정렬하거나 golden dataset을 구축하는 등 지속적인 개선의 밑거름으로 삼아야 합니다. LangSmith와 같은 도구를 활용하면 전문가의 지식을 체계적인 데이터로 변환하여 AI Agent의 성능을 지속적으로 고도화할 수 있습니다.