점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimizat…
역량 개발 · 뱅크샐러드 테크 · 2023.06.08
MySQL의 데이터가 계속 커지면서 발생하는 비용과 성능 문제를 해결하기 위해, 데이터를 S3로 옮기고 Athena를 통해 조회하도록 개선한 사례를 소개합니다. 처음에는 Athena의 S3 API 호출 비용이 예상보다 높게 발생했지만, Bucketing 기술과 파티션 구조 변경을 통해 데이터 스캔 및 호출 비용을 획기적으로 줄일 수 있었습니다. Spark를 사용할 때 발생할 수 있는 파일 개수 문제와 Athena와의 호환성 이슈를 어떻게 해결했는지에 대한 실무적인 팁도 담고 있습니다.