LangChain에서 AI Agent 운영을 위한 'LangSmith LLM Gateway'의 퍼블릭 베타를 출시했습니다! 이 도구는 AI Agent가 실제 서비스(production) 환경에서 작동할 때 발생할 수 있는 비용 초과, 모델 장애로 인한 서비스 중단, 그리고 민감한 데이터 노출 문제를 해결하기 위한 중앙 집중식 거버넌스 레이어입니다. 주요 기능으로는 조직 및 사용자별 비용 제한(Spend caps), 트래픽 폭주를 막는 Rate limits, 모델 장애 시 다른 모델로 전환하는 Fallback 기능, 그리고 PII(개인정보)를 탐지하고 가리는 데이터 보호 기능 등이 있습니다. 이를 통해 엔지니어들은 복잡한 제어 로직을 매번 코드로 작성할 필요 없이, 한 곳에서 효율적으로 AI 모델 사용을 관리하고 안정적인 서비스를 운영할 수 있습니다.