AI 에이전트를 효율적으로 운영하기 위해서는 단순히 토큰당 가격을 보는 것이 아니라, '성공적인 작업 하나를 완료하는 데 드는 비용(Cost per successful task)'을 관리하는 것이 매우 중요합니다. 본 글에서는 저렴한 Classifier를 활용해 작업을 적절한 Gemini 모델로 배분하는 라우팅 전략을 설명하고 있습니다. 실험 결과에 따르면, 단순한 정규표현식(Regex) 기반의 라우팅은 실제 복잡한 작업에서 한계가 있었지만, Jev와 같은 전문적인 Classifier를 사용하면 정확도를 높이면서도 비용을 효과적으로 절감할 수 있었습니다. 또한, MaxOutputTokens를 제한하는 것만으로는 모델의 'Thinking' 비용을 줄일 수 없으므로, 작업 난이도에 맞춰 Thinking Level을 직접 조절하는 것이 핵심입니다. 효율적인 운영을 위한 몇 가지 팁을 드리자면, 우선 Gemini Flash의 Low thinking 설정을 먼저 시도해 보세요. 그다음 짧고 독립적인 작업에는 Jev를 활용한 라우팅을 도입하고, Context Caching의 이점을 극대화하기 위해 긴 문맥이 필요한 작업은 하나의 모델에서 유지하는 것이 좋습니다.