AI Agent를 개발할 때 기존 소프트웨어와는 완전히 다른 디버깅 접근 방식이 필요하다는 내용입니다. 전통적인 소프트웨어는 코드의 실행 경로를 추적하여 오류를 찾지만, AI Agent는 LLM이 내리는 reasoning 과정을 디버깅해야 합니다. 에이전트는 non-deterministic하게 동작하며 루프를 돌며 도구를 사용하기 때문에, 단순한 코드 로그만으로는 문제를 파악하기 어렵습니다. 따라서 Agent observability가 매우 중요하며, 이를 위해 Runs, Traces, Threads라는 세 가지 핵심 요소를 활용해야 합니다. 또한 evaluation 역시 Single-step, Full-turn, Multi-turn과 같이 다양한 수준에서 이루어져야 합니다. 에이전트의 행동은 실행 시점에만 명확히 드러나므로, Production에서의 관찰 데이터가 offline evaluation을 위한 중요한 자산이 됩니다. AI Agent 개발 역량을 키우고 싶은 분들이라면, 코드 디버깅을 넘어 reasoning 과정을 관찰하고 평가하는 이 새로운 패러다임을 꼭 이해해 두시기 바랍니다.