LLM(Large Language Model)의 추론 과정에서 발생하는 비용과 메모리 문제를 해결하기 위한 KV cache 최적화 기술에 대해 설명하는 글입니다. LLM이 토큰을 생성할 때 사용하는 KV cache가 왜 메모리 비용의 핵심인지, 그리고 이를 해결하기 위한 다양한 방법들(Grouped-query attention, Multi-head latent attention, Quantization, Eviction, Paged attention, Prefix caching 등)이 어떻게 작동하는지 자세히 다루고 있습니다. 각 기술의 장단점과 함께, 어떤 워크로드에서 어떤 최적화 방식이 유리한지도 설명하고 있어 효율적인 LLM 서빙을 꿈꾸는 엔지니어분들에게 매우 유용한 정보가 될 것입니다.