Spotify는 사용자에게 더욱 개인화된 경험을 제공하기 위해 Generative AI를 활용한 추천 시스템을 구축하고 있습니다. 특히 Podcast 추천에 LLM을 적용하는 과정에서 발생하는 성능 및 비용 문제를 해결하기 위해 NVIDIA와 협력하여 TensorRT LLM을 고도화했습니다. Beam search, Candidate scoring, Soft tokens와 같은 핵심 기술을 TensorRT LLM에 통합함으로써 GPU 활용도를 높이고 비용을 획기적으로 절감(최대 54%)하는 성과를 거두었습니다. 앞으로도 Spotify는 더 정교한 개인화 서비스를 위해 NVIDIA와 함께 최적화 연구를 지속할 계획입니다.