LLM 에이전트를 개발하고 운영할 때, 모든 요청을 가장 비싼 frontier model로 보내고 계신가요? NVIDIA에서 공개한 오픈 소스 모델 라우팅 라이브러리인 NVIDIA NeMo Switchyard를 통해 비용 효율적인 에이전트 운영 방법을 확인해 보세요. 많은 팀이 모든 LLM 호출을 동일한 모델로 처리하지만, 이는 매우 비효율적일 수 있습니다. Switchyard는 에이전트의 워크플로우 단계에 따라 적절한 모델을 자동으로 선택해 주는 도구입니다. NVIDIA의 Deep Agents 평가 결과에 따르면, 모든 호출을 Claude Opus와 같은 고성능 모델로 처리할 때보다 Switchyard를 통해 Nemotron 3.5 Lightning와 같은 가벼운 모델을 적절히 혼합하여 사용했을 때 비용을 약 74% 절감할 수 있었습니다. 이때 정확도 손실은 단 6%p 수준으로 매우 낮았습니다. Switchyard는 LLM classifier, Stage router(heuristic), 그리고 Prefill-activation MLP와 같은 다양한 라우팅 방식을 제공합니다. 특히 'Escalation' 모드는 작업이 원활하지 않을 때만 고성능 모델로 전환하여 비용을 최적화합니다. 에이전트의 성능은 유지하면서 운영 비용을 획기적으로 줄이고 싶은 개발자분들에게 이 오픈 소스 라이브러리가 큰 도움이 될 것입니다.