Kakao의 Kanana 팀에서 개발 중인 멀티모달 언어모델, Kanana-o의 음성 생성 기술 고도화 과정을 소개하는 글입니다. 이번 연구에서는 '효율적인 음성 생성'과 '사용자 지시 이행 능력 향상'이라는 두 가지 목표를 달성하기 위해 LM-SPT라는 새로운 음성 토크나이저와 온라인 강화학습 기술을 도입했습니다. LM-SPT는 음성의 의미 정보와 음향 정보를 분리하여 표현함으로써, 사용자가 원하는 속도나 톤으로 정교하게 조절할 수 있게 하며 생성 효율도 높였습니다. 또한, Counterfactual Preference Alignment 기법을 적용한 강화학습을 통해 음질 저하 없이 사용자의 발화 지시를 정확하게 따르도록 학습시켰습니다. 이를 통해 Kanana-o는 더 자연스럽고, 빠르며, 사용자의 의도를 잘 반영하는 차세대 음성 AI로 진화하고 있습니다.