리퀴드 AI(Liquid AI)가 LLM의 추론 과정에서 발생하는 메모리 병목 현상을 해결하기 위한 혁신적인 기술인 '디스파크(DSpark)'를 공개했습니다! 이 기술은 약 3억 개의 매개변수를 가진 경량 모델이 토큰을 먼저 생성하고, 대형 모델이 이를 한 번에 검증하는 '추측 디코딩(speculative decoding)' 방식을 채택했습니다. 이를 통해 모델의 출력 품질은 그대로 유지하면서도 GPU 환경에서는 최대 3.18배, 맥북이나 아이폰 같은 온디바이스 환경에서는 최대 2.87배의 디코딩 처리량 향상을 이끌어냈습니다. 특히 AI 에이전트가 여러 도구를 사용하는 시나리오에서 지연 시간을 57%까지 줄이는 등 뛰어난 성능을 보였으며, 현재 허깅페이스를 통해 공개되어 다양한 오픈소스 프레임워크에서도 즉시 활용할 수 있습니다.