Data Platform& Governance Engineer
씨제이올리브영 주식회사
- 근무지
- 서울특별시 용산구
Data Platform&Governance Engineer 시니어 엔지니어 (경력·정규직)
- 차세대 데이터 플랫폼(Databricks/BigQuery) 운영 및 메달리온 아키텍처 확산
- Databricks 및 BigQuery 기반 코어 레이크하우스 운영, 스토리지/컴퓨팅 리소스 최적화(FinOps)
- 전사 표준 데이터 레이크 구조를 메달리온 아키텍처(Bronze-Silver-Gold)로 재정비하고 확장 적용
- 실시간 서빙 및 코어 파이프라인에 대한 개인정보 2중 분리(네트워크·권한) 및 보안 가드레일 구현
- 통합 데이터 거버넌스 · 디스커버리 체계 및 리니지(Lineage) 구축
- 파편화된 메타데이터를 단일 데이터 카탈로그/거버넌스 플랫폼(OpenMetadata, Datahub, Unity Catalog 등)으로 통합
- 원천(Source)부터 최종 활용(DW/Mart)까지 전체 데이터 흐름을 추적할 수 있는 전사 데이터 리니지(Lineage) 신규 구축
- PII(개인정보) 자동 탐지·태깅, 자동 마스킹 및 접근제어 정책 엔진 구축을 통한 셀프서비스 디스커버리 체계 제공
- 멀티 클라우드(AWS-GCP) 파이프라인 연동 및 실시간 처리 체계 강화
- 운영계(AWS) - 정보계(GCP) 간 크로스 클라우드 데이터 연계 구간 표준화 및 안정화
- 대용량 CDC(MSK/Kafka Connect) 및 실시간 처리(Flink) 파이프라인 확장 운영
- AI/LLM 조직 및 서비스 연계를 위한 실시간 데이터 파이프라인(RAG 연계, 온톨로지 포탈 등) 인프라 지원
- 전사 유관 조직(SRE / DBRE / 정보보안 / AI) 커뮤니케이션 리딩
- SRE/DBRE 팀과 협력하여 파이프라인 및 데이터 인프라의 가용성, SLO/SLA 모니터링 체계 수립
- 정보보안센터 및 AI 조직과 협력하여 LLM 활용 시 민감정보 노출을 방지하는 보안 가드레일 체계 구축