최근 등장하는 multimodal 모델들은 기존의 autoregressive 텍스트 생성 중심 서빙 시스템으로는 처리하기 어려운 복잡한 구조를 가지고 있습니다. Stanford University 연구진이 발표한 M*는 이러한 문제를 해결하기 위해 모델을 '그래프' 구조로 정의하고, 요청을 이 그래프를 따라가는 'Walk'로 처리하는 새로운 패러다임을 제시합니다. M*는 기존의 vLLM-Omni나 SGLang-Omni보다 훨씬 높은 throughput과 낮은 latency를 보여주며, 특히 speech나 world model 분야에서 압도적인 성능 향상을 입증했습니다. AI 인프라 및 모델 서빙 최적화 분야에 관심 있는 분들이라면 꼭 확인해 보아야 할 기술입니다.