구글이 복잡한 AI 검색 과정에서 발생하는 연산 비용과 응답 지연 문제를 해결하기 위한 새로운 프레임워크인 'R4T(Retrieve-for-Train)'를 공개했습니다. 기존 방식은 검색 시점에 LLM이 많은 양의 CoT 토큰을 생성해야 해서 속도가 느려지는 문제가 있었는데요. R4T는 이를 해결하기 위해 오프라인 단계에서 강화학습(RL)을 통해 효율적인 검색 전략을 미리 학습시킨 뒤, 이를 경량 Diffusion Model에 전달하는 방식을 사용합니다. 실험 결과, 기존 Autoregressive 방식보다 검색 속도를 12~20배나 높이면서도 검색 결과의 다양성과 품질을 유지하는 데 성공했다고 합니다. 앞으로 실시간 AI 검색 및 추천 서비스의 사용자 경험을 대폭 개선할 것으로 기대됩니다.