AI 에이전트는 기존의 전통적인 소프트웨어와는 근본적으로 다른 방식으로 작동합니다. 사용자가 버튼을 클릭하는 대신 자연어를 입력으로 사용하기 때문에 입력의 범위가 무한하며, LLM(대규모 언어 모델)의 특성상 동일한 질문에도 매번 다른 답변을 내놓는 비결정론적 성질을 띱니다. 따라서 기존의 시스템 성능 모니터링(APM) 방식만으로는 에이전트가 제대로 작동하는지 파악하기 어렵습니다. 본 글에서는 이러한 문제를 해결하기 위한 '에이전트 관측성(Agent Observability)'의 중요성을 설명합니다. 에이전트를 모니터링할 때는 단순한 시스템 지표를 넘어, 사용자와의 대화 내용(Prompt-Response), 멀티 턴 컨텍스트, 그리고 에이전트가 최종 답변에 도달하기 위해 거치는 추론 단계(Trajectory)를 모두 관찰해야 합니다. 또한, 대규모 환경에서 발생하는 수많은 상호작용을 효율적으로 관리하기 위한 두 가지 접근법을 소개합니다. 첫째는 특정 사례를 구조화하여 인간이 검토할 수 있게 하는 'Annotation queues' 방식이고, 둘째는 LLM을 활용해 인간의 판단을 자동화하는 'LLM-as-a-judge' 방식입니다. 마지막으로 LangChain의 LangSmith가 제공하는 인사이트 에이전트, 온라인 평가, 대시보드 기능 등을 통해 어떻게 실무에서 에이전트의 품질을 지속적으로 개선할 수 있는지 확인해 보세요.