Huggingface에서 오픈소스 모델을 활용해 로컬 환경에서도 구동 가능한 음성 대화 파이프라인을 공개했습니다. 이 시스템은 사용자의 음성을 감지(VAD)하여 텍스트로 변환(STT)하고, LLM이 질문을 이해해 답변을 생성한 뒤 다시 음성(TTS)으로 읽어주는 완전한 과정을 포함합니다. 각 단계는 별도 스레드와 큐로 연결된 저지연 스트리밍 구조를 사용하여 실시간 대화가 가능하며, OpenAI Realtime WebSocket API와 호환되어 기존 클라이언트나 SDK를 큰 변경 없이 연결할 수 있다는 장점이 있습니다. 또한 사용자의 필요에 따라 다양한 STT/TTS 모델을 조합할 수 있으며, 실제 Reachy Mini 로봇의 대화 백엔드로 사용될 만큼 높은 실용성을 입증했습니다.