콘텐츠

Apache Airflow 3.x 무엇이 달라졌고, 어디로 가고 있는가?

시장 인사이트 · DEVOCEAN · 2026.09.18

Apache Airflow 3.x는 단순한 ETL 스케줄러를 넘어, 더 넓은 범위의 워크플로우를 관리하는 'Workflow Orchestrator'로 진화하고 있습니다. 이번 업데이트의 핵심은 세 가지 축으로 요약할 수 있는데요. 첫째, Execution과 Orchestration을 분리하여 보안성과 유연성을 높인 Architecture의 변화입니다. 이제 워커는 DB에 직접 접근하는 대신 Task Execution API를 통해 통신하며, 이를 통해 다양한 환경과 언어에서도 태스크 실행이 가능해졌습니다. 둘째, `airflow.sdk`를 도입하여 개발자에게 안정적인 Authoring 인터페이스를 제공하는 Developer Experience의 개선입니다. 이를 통해 내부 구현이 바뀌더라도 사용자의 DAG가 안정적으로 유지될 수 있습니다. 셋째, 시간 중심에서 Asset과 Event 중심으로 워크플로우 모델을 확장한 것입니다. 이제는 특정 시간이 아니라 데이터의 상태나 외부 이벤트에 따라 워크플로우가 실행될 수 있습니다. 특히 AI Agent 시대에 발맞추어, 에이전트의 복잡한 실행 과정을 관측(Observable), 재시도(Retryable), 감사(Auditable)할 수 있는 환경을 제공함으로써, AI 워크플로우를 안정적으로 관리하는 핵심 플랫폼으로서의 역할을 강화하고 있습니다.