쏘카 데이터엔지니어링팀에서 기존 로그 파이프라인의 한계를 극복하고 개선한 과정을 공유하는 글입니다. 기존 시스템은 데이터 스키마 변경 시 발생하는 관리의 어려움, 분류 작업의 비효율성, 그리고 배치 처리 방식에 따른 데이터 신선도 부족이라는 문제점이 있었습니다. 이를 해결하기 위해 쏘카 팀은 AWS Kinesis Data Stream 대신 Managed Streaming for Apache Kafka(MSK)를 도입하고, 커스텀 Python Consumer를 개발하여 실시간 스트리밍 파이프라인을 구축했습니다. 또한, Protobuf와 Schema Registry를 활용한 데이터 컨트랙트를 도입하여 스키마를 통합 관리함으로써 데이터의 일관성과 품질을 확보했습니다. 이러한 개선을 통해 데이터 신선도를 기존 1~2시간에서 약 3분 내외로 대폭 단축하며, 준실시간 데이터 활용이 가능한 견고한 환경을 구축할 수 있었습니다.