LinkedIn이 기존의 Kafka를 넘어 더 거대한 규모를 지원하기 위해 개발한 새로운 로그 저장 시스템 Northguard와 가상화 레이어인 Xinfra에 대한 기술 블로그입니다. LinkedIn은 급격한 성장으로 인해 Kafka의 확장성, 운영 편의성, 가용성 등에서 한계를 느꼈고, 이를 해결하기 위해 데이터와 metadata를 샤딩하고 log striping을 통해 부하를 분산하는 Northguard를 구축했습니다. 또한, Kafka에서 Northguard로의 원활한 전환을 돕기 위해 Xinfra라는 가상화 레이어를 도입하여 사용자들에게 일관된 Pub/Sub 경험을 제공합니다. 대규모 인프라를 설계하고 운영하는 엔지니어분들에게 매우 유익한 내용입니다.