Replit은 3,000만 명 이상의 개발자가 사용하는 플랫폼으로, 최근 큰 화제를 모은 Replit Agent를 출시하며 AI 혁신을 선도하고 있습니다. Replit Agent는 단순한 코드 작성을 넘어 계획 수립, 개발 환경 구축, 의존성 설치, 그리고 애플리케이션 배포까지 수행하는 매우 복잡한 agentic workflow를 가지고 있습니다. 이러한 복잡성 때문에 Replit 팀은 LangSmith를 활용하여 LLM observability를 강화하고, agent의 상호작용을 깊이 있게 모니터링하며 디버깅하는 데 집중했습니다. 양 팀의 협력을 통해 LangSmith에는 세 가지 주요 혁신이 도입되었습니다. 첫째, 대규모 trace의 데이터 처리 성능과 확장성을 개선하여 긴 실행 과정을 원활하게 시각화할 수 있게 되었습니다. 둘째, trace 내부에서 특정 이벤트나 키워드를 검색하고 필터링할 수 있는 기능을 추가하여 디버깅 시간을 획기적으로 단축했습니다. 마지막으로, human-in-the-loop 워크플로우를 지원하기 위한 Thread view를 도입하여 여러 대화 세션 간의 연관된 trace를 논리적으로 통합해 볼 수 있게 되었습니다. 이러한 기술적 진보를 통해 Replit은 AI 기반 개발의 새로운 표준을 만들어가고 있습니다.