카카오의 Kanana LLM 조직에서 개발한 두 번째 SLM 시리즈인 Kanana-2(3B, 1.3B, 0.9B) 모델의 개발 과정과 기술적 노하우를 상세히 공유하는 글입니다. 이번 Kanana-2 시리즈는 온디바이스(On-device) 환경에 최적화하기 위해 PCA 기반의 Pruning & Distillation 기법과 Sliding Window Attention(SWA)을 도입하여 메모리 효율성을 극대화했습니다. 또한, 모델의 성능을 높이기 위해 Teacher 모델을 활용한 Cascade 방식의 단계적 압축과 최신 RL 방법론인 DAPO를 적용한 Post-training 과정을 거쳤습니다. 더불어 한국어와 영어 모두에서 뛰어난 성능을 보이는 Kanana-2-Embedding 모델의 학습 기법에 대해서도 심도 있게 다루고 있습니다. AI 엔지니어분들에게 매우 유익한 기술적 인사이트를 제공합니다.