LLM 애플리케이션을 운영할 때 모든 요청에 가장 강력한 모델을 사용하는 것은 비용 면에서 매우 비효율적일 수 있습니다. 이를 해결하기 위한 핵심 전략이 바로 'Model Routing'입니다. Model Routing은 요청의 난이도, 위험도, 문맥(context) 등을 판단하여 가장 적합하고 경제적인 모델을 선택하는 과정입니다. 주요 전략으로는 다음과 같은 방법들이 있습니다: 1. 'Small Model as a Router': 작은 모델을 사용하여 요청의 난이도를 EASY, MEDIUM, HARD로 분류합니다. 2. 'Cascading': 저렴한 모델을 먼저 시도해보고, 결과가 만족스럽지 않으면 더 강력한 모델로 요청을 넘기는 방식입니다. 3. 'Semantic Routing': 키워드가 아닌 embedding을 통해 요청의 의미(intent)를 파악하여 적절한 모델로 전달합니다. 4. 'Learned Routing': 실제 요청 데이터를 기반으로 학습된 classifier를 사용하여 최적의 모델을 결정합니다. 성공적인 Model Routing을 위해서는 요청의 의도와 난이도를 정확히 파악하는 것이 매우 중요합니다. 또한, 잘못된 모델을 선택하여 발생하는 under-routing(난이도 과소평가)이나, 쉬운 작업을 비싼 모델에 맡기는 over-routing(비용 낭비)과 같은 오류를 방지하기 위한 정교한 설계가 필요합니다.