LLM 에이전트가 외부 도구를 호출할 때, 정의된 스키마를 따르지 않으면 오류 메시지가 쌓여 에이전트의 품질을 떨어뜨리고 비용을 높이는 문제가 발생할 수 있어요. Ubicloud의 테스트에 따르면, vLLM 0.28 버전에서 Kimi K2.6 모델의 스키마 정확도는 약 92% 수준이었답니다. 이를 해결하기 위해 '제약 디코딩(constrained decoding)' 기술이 활용되는데, 이는 XGrammar의 구조 태그를 사용해 생성 단계에서 유효하지 않은 토큰을 실시간으로 차단하는 방식이에요. 이 기술은 GPU에서 효율적으로 작동해 성능 저하를 최소화하면서도 도구 호출의 구조적 유효성을 확실히 보장해 줍니다. Ubicloud는 이 기술을 통해 Kimi와 DeepSeek 모델의 스키마 정확도를 100%까지 개선하며, 모델의 품질이 추론 엔진과 설정에 따라 크게 달라질 수 있다는 점을 보여주었습니다.