[13일차] ETL vs ELT 완전 정리 | 실무 데이터 파이프라인 설계 패턴

🏗️ 데이터 레이크하우스 엔지니어링 20일 집중 과정 DAY 13 — ETL/ELT 설계 패턴 이번 영상에서는 실무 데이터 플랫폼 구축의 핵심인 ETL/ELT 설계 패턴을 학습합니다. ✔ ETL vs ELT 비교 ✔ Full Extract ✔ Incremental Extract ✔ CDC(Change Data Capture) ✔ 데이터 정제 및 변환 ✔ MERGE INTO 기반 Upsert ✔ Idempotent Pipeline ✔ SCD Type 2 ✔ Bronze → Silver → Gold 설계 데이터 엔지니어링에서 단순히 데이터를 옮기는 것보다 중요한 것은 확장 가능하고 재실행 가능한 파이프라인을 설계하는 것입니다. 이번 강의에서는 실제 운영 환경에서 사용하는 데이터 적재 및 변환 패턴을 중심으로 설명합니다. 📌 이런 분들에게 추천합니다 데이터 엔지니어 플랫폼 엔지니어 Spark 개발자 ETL 개발자 MLOps 엔지니어 데이터 웨어하우스 구축 담당자 🔥 이번 영상 핵심 내용 ETL과 ELT의 차이 증분 적재 설계 전략 CDC 기반 실시간 데이터 처리 멱등성(Idempotency) 보장 방법 SCD Type 2 이력 관리 Bronze / Silver / Gold 레이어 설계 🧪 실습 내용 Incremental ETL 파이프라인 구축 Debezium CDC 데이터 처리 SCD Type 2 사용자 이력 관리 MERGE INTO 기반 Upsert 구현 동일 DAG 재실행 검증 🔐 보안 내용 Vault 기반 DB 자격증명 관리 읽기 전용 DB 계정 사용 PII 데이터 마스킹 적재 후 스테이징 데이터 삭제 #ETL #ELT #DataEngineering #ApacheSpark #CDC #Debezium #Iceberg #Lakehouse #SCD #BigData #데이터엔지니어 #AI인프라