옮기는 것보다 증명이 어렵다
스토리 · 카카오 테크 · 2026.11.03
커머스 클레임(취소·교환·반품) 검색 색인의 수집 방식을 기존의 알림 기반에서 CDC(Change Data Capture) 방식으로 전환한 기술 사례를 소개합니다. 기존 방식은 알림 누락, 기준시각 오염, 그리고 변경 시마다 문서 전체를 다시 만들어야 하는 비효율성 등의 문제를 안고 있었습니다. 이를 해결하기 위해 데이터베이스 변경 로그를 직접 읽는 CDC 방식을 도입하고, 생성·갱신·보완 배치·전체 색인이라는 네 갈래의 처리 경로를 설계했습니다. 특히 이번 글에서는 시스템 전환보다 더 중요했던 '데이터 정합성 검증' 과정을 심도 있게 다룹니다. 누락, 값, 지연이라는 세 가지 축을 통해 새 색인의 정확성을 어떻게 증명했는지, 그리고 전환 후 발생한 원본 DB 부하 문제를 어떻게 최적화하여 해결했는지를 상세히 설명합니다. 데이터 엔지니어링 관점에서 시스템을 옮기는 것보다 그 결과가 올바름을 증명하는 과정이 왜 더 중요한지를 잘 보여주는 유익한 사례입니다.