Netflix가 Live 스트리밍 환경의 폭발적인 트래픽 증가에 대응하기 위해 Ads Event Pipeline을 어떻게 재설계했는지 소개하는 글입니다. 기존에는 Metadata Registry라는 Key-Value store를 사용하여 ad serving 과정에서 동기적인 데이터 쓰기가 필요했는데, 이는 Live 이벤트 시 발생하는 대규모 트래픽을 감당하기에 병목 현상과 장애 위험이 있었습니다. 이를 해결하기 위해 Netflix는 Apache Flink를 도입하여 stateful stream processing 기반의 아키텍처로 전환했습니다. 이제 ad server는 Kafka에 로그를 남기고, Flink가 client event와 이 로그를 실시간으로 join하여 데이터를 enrichment합니다. 이를 통해 ad serving의 critical path에서 데이터베이스 의존성을 제거하고, Live 이벤트의 급격한 트래픽 변동에도 유연하게 대응할 수 있는 확장성 높은 시스템을 구축했습니다.