LLM(대규모 언어 모델)의 추론 속도를 높이기 위한 'Speculative Decoding' 기술에 대해 설명해 드릴게요. 현재 LLM은 토큰을 하나씩 생성할 때마다 거대한 모델 가중치를 메모리에서 읽어와야 하는데, 이때 연산 시간보다 데이터 전송 시간이 더 오래 걸리는 병목 현상이 발생합니다. Speculative Decoding은 이 유휴 자원을 활용하기 위해, 작은 'draft model'이 여러 개의 후보 토큰을 미리 생성하면 큰 'target model'이 이를 한 번에 검증하는 방식을 사용합니다. 이 기술은 결과물의 품질을 완벽하게 유지하면서도(lossless), 작업의 성격에 따라 생성 속도를 2~3배 이상 높일 수 있는 매우 효율적인 방법입니다.