Tout savoir sur dbt : Différences dbt Core vs dbt Cloud/Platform (Tutoriel & REX)

Découvrez un atelier complet sur dbt, l’outil incontournable de la Modern Data Stack. Présenté par Christophe, consultant chez ACSSI, cette vidéo décrypte comment dbt révolutionne la transformation des données en apportant les meilleures pratiques du développement logiciel au monde de la data. Du framework open-source dbt Core à la puissance de dbt Platform / Cloud, découvrez comment structurer vos pipelines ELT, automatiser vos tests et documenter vos données efficacement. Au programme de cet atelier : [00:00] - Introduction et présentation de Christophe (ACSSI) [00:43] - Le paradigme ELT vs ETL [01:07] [01:35] - La philosophie de dbt : Intégrer le versioning (Git), la documentation et les tests unitaires dans la data [01:52] [03:23] - Fonctionnement de dbt Core : Le package Python et l'exécution SQL in-warehouse [03:30] [04:37] - Intégrations phares de la Modern Data Stack : Snowflake et Microsoft Fabric [04:45] [06:27] - Comparatif des versions : dbt Core, dbt Cloud/Platform, dbt Project (dans Snowflake) et dbt Fusion (en Rust) [06:58] [07:42] - Les fonctionnalités clés de dbt Core : Fichiers SQL, Jinja, macros réutilisables, tests automatisés et génération de doc HTML [08:14] [10:58] - Démo Live / Tour d'horizon de dbt Cloud & Platform : Exploration de l'interface et catalogue de données [11:15] [12:15] - dbt Mesh : Comment lier et gouverner des projets dbt multi-équipes à l'échelle de l'entreprise [12:37] [14:16] - L'analogie avec l'architecture Médaillon (Staging, Intermediate, Marts) [14:24] [17:39] - Focus sur la couche sémantique (dbt Semantic Layer) et l'intégration avec les outils de Business Intelligence (BI) [18:04] [20:10] - Orchestration, déploiement industriel, CI/CD et gestion des environnements (Dev vs Prod) [20:32] [22:25] - dbt Studio : Présentation de l'IDE en ligne et gestion des fichiers de configuration YAML [24:54] [28:35] - L'onglet Insights : Centralisation des requêtes SQL de vérification [28:57] [31:45] - Synthèse finale : Comment choisir entre dbt Core et dbt Platform selon vos équipes et vos besoins DevOps [32:31] Pourquoi utiliser dbt pour vos projets Data ? Accessibilité : Vos équipes n'ont besoin que de maîtriser le SQL pour construire des modèles de données complexes. Qualité de donnée (Data Quality) : Déclarez des tests simples (ex: unique, not_null) directement en YAML, dbt s'occupe de générer et compiler le SQL de contrôle. Observabilité : Générez automatiquement le graphe de lignage (data lineage) pour visualiser en un clin d'œil les dépendances de vos tables de l'ingestion à la restitution.