Podium은 소상공인들이 고객과 빠르게 소통할 수 있도록 돕는 커뮤니케이션 플랫폼입니다. 이들은 고객 응대를 자동화하기 위해 'AI Employee'라는 에이전트 애플리케이션을 출시했습니다. 서비스가 복잡해짐에 따라 Podium은 LLM의 동작을 모니터링하고 테스트하기 위해 LangSmith를 도입했습니다. LangSmith를 활용해 Podium은 데이터셋을 구축하고, model distillation과 fine-tuning 과정을 거쳐 에이전트의 대화 종료 감지 성능(F1 score)을 98.6%까지 끌어올렸습니다. 또한, Technical Product Specialists(TPS) 팀이 LangSmith의 traces를 통해 문제를 직접 진단할 수 있게 함으로써, 엔지니어의 개입을 90%나 줄이는 놀라운 성과를 거두었습니다. 이를 통해 엔지니어들은 단순 지원 업무 대신 핵심 개발에 더 집중할 수 있게 되었고, 고객 만족도(CSAT) 또한 크게 향상되었습니다.