DataOps TUTORIAL: Data engineering / Ejemplo DAGSTER end-to-end con BigQuery, dbt, spark, jupyter

#dataOps #dataengineering #dagster #dbt #bigQuery #SPARK En este video vamos a hablar explorar los principios para el diseño de una plataforma de Data Engineering moderna y construiremos un pipeline de proceso de datos con dagster (https://dagster.io/) - un orquestador de pipelines de datos utilizando: BigQuery como DWH dbt como herramienta de transformación de datos SQL dataproc/pySpark para procesar datos a escala con SPARK Jupyter notebook, para explorar y visualizar el resultado Código del video: https://github.com/velascoluis/dagste... Sígueme en: 👉twitter: @luisvelasco 👉medium:   / velascoluis   👉github: https://github.com/velascoluis