[11일차] Apache Airflow 완전 이해 | 아키텍처 · DAG · Scheduler 핵심 정리

🏗️ 데이터 레이크하우스 엔지니어링 20일 집중 과정 DAY 11 — Apache Airflow 아키텍처와 핵심 개념 이번 영상에서는 데이터 파이프라인 오케스트레이션 플랫폼인 “Apache Airflow”의 핵심 구조를 이해합니다. ✔ Airflow 아키텍처 ✔ Scheduler / Executor / Worker ✔ Metadata DB 구조 ✔ DAG 실행 모델 ✔ CeleryExecutor vs KubernetesExecutor ✔ PythonOperator & BashOperator ✔ Connections & Variables ✔ Jinja Template ✔ Airflow 보안 구조 현대 데이터 플랫폼에서는 Spark · Kafka · Iceberg · DB 작업들을 자동으로 연결하고 스케줄링해야 합니다. Apache Airflow는 이러한 데이터 워크플로우를 코드 기반(DAG)으로 관리하는 대표적인 플랫폼입니다. 이번 강의에서는 Airflow가 내부적으로 어떻게 동작하는지, 그리고 실무에서 어떻게 구성하는지를 설명합니다. 📌 이런 분들에게 추천합니다 데이터 엔지니어 플랫폼 엔지니어 DevOps 엔지니어 Spark 운영자 MLOps 엔지니어 ETL 자동화 구축 담당자 🔥 이번 영상 핵심 내용 DAG 기반 워크플로우 구조 Scheduler 내부 동작 Executor 종류와 차이 Task Dependency 설계 Airflow Metadata DB 역할 실무형 운영 아키텍처 🧪 실습 내용 Airflow Docker Compose 구축 CeleryExecutor + Redis + Postgres 구성 첫 번째 DAG 작성 S3 → Python → Iceberg 파이프라인 Task Retry & Monitoring 실습 🔐 보안 내용 Fernet Key 기반 암호화 RBAC 역할 기반 접근 제어 HTTPS 기반 Web UI 보호 Connection Secret 암호화 저장 #ApacheAirflow #Airflow #DataEngineering #ETL #Workflow #Orchestration #Spark #Iceberg #DevOps #MLOps #데이터엔지니어 #AI인프라