콘텐츠

Unsloth, Qwen3.8 2.4T를 397GB로 줄여 로컬 실행 지원

시장 인사이트 · GeekNews · 2026.08.13

Unsloth가 Qwen3.8-2.4T-A95B 모델의 GGUF 양자화 버전과 로컬 실행 가이드를 공개했습니다. 원본 모델은 4.89TB에 달하는 거대한 크기지만, Unsloth Dynamic 양자화 기술을 통해 1-bit 버전의 경우 약 397GB까지 크기를 대폭 줄일 수 있게 되었습니다. 이를 통해 데이터센터급 모델을 고사양 워크스테이션에서도 실행할 수 있는 환경이 마련되었습니다. Mac, Windows, Linux 등 다양한 OS를 지원하며 llama.cpp나 Ollama 같은 도구와도 연동이 가능합니다. 다만, 개인 사용자의 경우에는 곧 공개될 Qwen3.8-27B 모델이 더 현실적인 선택지가 될 것으로 보입니다.