[6일차] Apache Iceberg는 왜 차세대 테이블 포맷이 되었을까? | Iceberg 기초 완전 이해

🏗️ 데이터 레이크하우스 엔지니어링 20일 집중 과정 DAY 6 — Apache Iceberg 기초: 왜 Iceberg인가 이번 영상에서는 차세대 데이터 레이크 테이블 포맷인 “Apache Iceberg”의 핵심 구조를 이해합니다. ✔ Hive 테이블 방식의 한계 ✔ Partition Metadata 병목 문제 ✔ ACID 미지원 문제 ✔ Snapshot 기반 테이블 구조 ✔ Iceberg Metadata 계층 구조 ✔ Manifest / Snapshot / Metadata 동작 원리 ✔ Iceberg Catalog 종류 ✔ Spark + Iceberg 연동 ✔ Optimistic Concurrency Control 기존 Hadoop/Hive 기반 데이터 레이크는 대규모 환경에서 여러 구조적 한계를 가집니다. Apache Iceberg는 이 문제를 해결하기 위해 등장한 차세대 Open Table Format 입니다. 이번 강의에서는 Iceberg가 왜 중요한지, 그리고 내부 메타데이터 구조가 어떻게 동작하는지를 아키텍처 중심으로 설명합니다. 📌 이런 분들에게 추천합니다 데이터 엔지니어 Spark 개발자 플랫폼 엔지니어 MLOps 엔지니어 Lakehouse 구축 담당자 Hadoop/Hive 운영 경험자 🔥 이번 영상 핵심 내용 Hive Metastore 병목 구조 Snapshot Isolation 이해 ACID 기반 데이터 레이크 Iceberg Metadata Layer REST Catalog & Nessie 구조 Spark SQL 기반 Iceberg 실습 🧪 실습 내용 Spark + Iceberg REST Catalog 구성 MinIO 기반 Lakehouse 환경 구축 Bronze → Silver Iceberg 마이그레이션 Iceberg 테이블 생성 및 데이터 삽입 #ApacheIceberg #Iceberg #Spark #DataEngineering #Lakehouse #BigData #Hadoop #Hive #MLOps #데이터엔지니어 #AI인프라 #클라우드