NVIDIA NeMo에서 공개한 Switchyard는 LLM 라우터입니다. 모든 요청을 고가의 모델에 맡기는 대신, 작업의 성격에 맞춰 더 저렴한 모델을 선택하여 비용을 절감하는 것을 목표로 합니다. OpenAI Chat Completions/Responses와 Anthropic Messages 형식을 지원하여, 기존 클라이언트의 연결 주소를 프록시로 바꾸는 것만으로도 모델을 유연하게 변경할 수 있습니다. 또한, 작업 진행 상황에 따라 모델을 배정하는 Stage Router 기능과 Prometheus를 통한 모니터링 기능도 제공합니다. 현재는 Beta 및 Alpha 단계로, 데모나 평가용으로 적합한 상태입니다.