LinkedIn이 Apache Spark와 Flink의 Shuffle 문제를 해결하기 위해 도입한 Apache Celeborn에 관한 기술 블로그입니다. 기존 로컬 디스크 기반 Shuffle 방식은 노드 장애 시 데이터 가용성이 떨어지고, Noisy Neighbor 문제로 인한 자원 경합 및 비효율적인 저장 공간 활용 등의 한계가 있었습니다. 이를 해결하기 위해 LinkedIn은 Shuffle 저장소를 컴퓨팅 자원과 분리한 Disaggregated architecture를 구축했습니다. Apache Celeborn을 통해 Shuffle 데이터를 전용 워커에 저장하고, NVMe SSD와 100 Gbps 고속 네트워크를 활용하여 성능을 극대화했습니다. 그 결과, 인프라 비용 절감과 함께 Shuffle fetch failure를 획기적으로 줄였으며, Spark와 Flink 모두에서 안정적이고 효율적인 대규모 데이터 처리를 구현할 수 있었습니다.