Kanana-O는 텍스트, 이미지, 오디오를 모두 이해하고 자연스러운 응답을 생성하는 멀티모달 모델입니다. 이 글에서는 Kanana-O를 실제 서비스 환경(Production)에서 실시간 음성 대화로 제공하기 위해 겪은 기술적 도전과 해결 과정을 상세히 다루고 있습니다. Thinker, Talker, VoiceBox로 구성된 파이프라인의 병목 현상을 해결하기 위해 zero-copy 방식의 데이터 전달, Cascaded Streaming Pipeline 도입, 프로세스 격리 및 비동기(async/await) 처리 등 고도화된 엔지니어링 기법들을 소개합니다. 또한, 서비스 품질에 따른 Latency-First와 Quality-First 모드 설정, 운영 안정성을 위한 워밍업 및 워터마킹 기술까지, AI 모델을 실제 서비스로 구현할 때 고려해야 할 핵심적인 엔지니어링 인사이트를 얻을 수 있습니다.