Spotify Engineering에서 발표한 Random Access Parquet (RAP) 기술에 대한 상세 내용입니다. Spotify와 같은 기업은 AI 에이전트나 개인화 서비스를 위해 방대한 데이터를 low latency로 조회해야 하는 과제를 안고 있습니다. 기존의 데이터 레이크(GCS, S3 등)는 대규모 분석에는 유리하지만, 특정 key를 기반으로 한 빠른 point query에는 적합하지 않아 별도의 KV store를 운영해야 하는 비용 문제가 있었습니다. RAP는 Parquet 파일에 external index를 구축하여 데이터가 위치한 정확한 file와 row number를 직접 매핑함으로써, 불필요한 scan 없이도 매우 빠른 조회를 가능하게 합니다. 이를 통해 데이터 복제나 추가적인 ETL 과정 없이도 하나의 data lake에서 분석과 실시간 서비스를 동시에 효율적으로 처리할 수 있는 혁신적인 방법을 제시합니다.