[16일차] Trino 아키텍처 완전 이해 | 커넥터 시스템과 분산 SQL 엔진

🏗️ 데이터 레이크하우스 엔지니어링 20일 집중 과정 DAY 16 — Trino 아키텍처와 커넥터 시스템 이번 영상에서는 데이터 레이크하우스의 조회(Query) 계층 핵심 엔진인 Trino를 학습합니다. ✔ Trino 클러스터 아키텍처 ✔ Coordinator & Worker 구조 ✔ Query Execution Flow ✔ Connector Architecture (SPI) ✔ Iceberg Connector ✔ Federation Query ✔ Pushdown 최적화 ✔ Dynamic Filtering ✔ Partition Pruning Trino는 데이터를 이동시키지 않고도 다양한 시스템을 하나의 SQL로 조회할 수 있는 분산 SQL 엔진입니다. Iceberg, Hive, PostgreSQL, Kafka, MongoDB 등 서로 다른 데이터 소스를 실시간으로 연결하여 분석할 수 있으며, 현대 Lakehouse 아키텍처의 핵심 조회 엔진으로 활용됩니다. 이번 강의에서는 Trino의 내부 동작 원리와 커넥터 아키텍처를 중심으로 실무 활용 방법을 설명합니다. 📌 이런 분들에게 추천합니다 데이터 엔지니어 데이터 분석가 플랫폼 엔지니어 MLOps 엔지니어 데이터 아키텍트 Lakehouse 구축 담당자 🔥 이번 영상 핵심 내용 Trino 클러스터 구조 Coordinator와 Worker 역할 SQL 실행 계획 생성 과정 Connector SPI 아키텍처 Federation Query 구현 원리 Trino 최적화 메커니즘 🧪 실습 내용 Trino + Iceberg + MinIO 구축 Iceberg Catalog 연동 PostgreSQL JDBC Connector 설정 Federation Query 실습 EXPLAIN PLAN 분석 Pushdown 최적화 확인 ⚡ 성능 최적화 Dynamic Filtering Predicate Pushdown Aggregation Pushdown Partition Pruning Distributed Query Execution 🔐 보안 내용 HTTPS/TLS 암호화 Worker 내부 통신 암호화 Catalog 접근 제어 사용자 인증 및 권한 관리 #Trino #Presto #DataEngineering #Lakehouse #Iceberg #BigData #SQL #Federation #DataPlatform #ApacheIceberg #데이터엔지니어 #AI인프라