콘텐츠

LLM의 thinking_token_budget은 어떤 역할을 하는가?

역량 개발 · DEVOCEAN · 2026.08.11

LLM의 reasoning 과정에서 사용되는 thinking_token_budget에 대해 설명해 드릴게요. 이 설정은 모델에게 더 깊이 생각하라고 명령하는 것이 아니라, 생성되는 thinking token의 최대량을 제한하는 역할을 한답니다. vLLM이나 opencode 환경에서 설정할 수 있으며, 무제한으로 허용하고 싶다면 -1로 설정하면 돼요. 빠른 답변을 얻고 싶을 때 유용한 기능입니다.