콘텐츠

로컬 LLM과 Claude 모델의 도구 호출(Tool Use) 성능 비교 테스트

시장 인사이트 · GeekNews · 2026.11.03

RTX 3090 환경에서 로컬 LLM 모델들과 Claude 모델들이 도구 호출(Tool Use) 과제를 얼마나 안정적으로 수행하는지 테스트한 결과입니다. BFCL v4 다단계 과제 100개를 대상으로 실험을 진행했으며, gemma4 26B 모델이 5회 반복 과제에서 가장 높은 성공률(60개)을 기록하며 우수한 성능을 보였습니다. Claude Sonnet 5.5가 그 뒤를 이었으며, qwen3.8 모델은 단일 성공률은 높지만 일관성은 다소 낮게 나타났습니다. 또한, 모델이 사용자에게 질문을 던지는 방식에 따라 성능 차이가 발생하는 등 흥미로운 결과가 관찰되었습니다. AI 에이전트 구현을 연구하거나 관련 기술 트렌드를 파악하고자 하는 분들에게 유용한 자료입니다.