Как решить проблемы оркестрации сотен задач по обработке данных с помощью Apache Airflow? / В. Баев

Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем Saint HighLoad++ 2026 Подробнее: https://clck.ru/3QZHTb Июнь, 2026. Санкт-Петербург, DESIGN DISTRICT DAA in SPB  -------- HighLoad++ Весна 2021 Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 17 и 18 мая 2021. Москва, Крокус-Экспо Тезисы и презентация: https://www.highload.ru/spring/2021/a... Apache Airflow широко используется для оркестрации ETL data-пайплайнов. Давайте более детально взглянем на Airflow с точки зрения разработки и эксплуатации: какие особенности помогут избежать проблем, а какие могут потенциально привести к отказу работы распределенных систем. ... Нашли ошибку в видео? Пишите нам на [email protected]

Обработка данных на Apache Airflow в Yandex Cloud
▶︎

Обработка данных на Apache Airflow в Yandex Cloud

Оркестрация с помощью Temporal: как это устроено и как применять на практике — Антон Цитульский
▶︎

Оркестрация с помощью Temporal: как это устроено и как применять на практике — Антон Цитульский

BAS Lesson 10: Uploading a Screenshot to Google Drive | BrowserAutomationStudio
▶︎

BAS Lesson 10: Uploading a Screenshot to Google Drive | BrowserAutomationStudio

Основы дата-инженерии. Готовим данные для анализа с помощью ETL
▶︎

Основы дата-инженерии. Готовим данные для анализа с помощью ETL

Как построить SCD2 на реальных данных в PostgreSQL с Airflow. Разбор  реальной задачи дата-инженера.
▶︎

Как построить SCD2 на реальных данных в PostgreSQL с Airflow. Разбор реальной задачи дата-инженера.

Managing Apache Airflow at Scale
▶︎

Managing Apache Airflow at Scale

Apache Flink: Новое поколение потоковой обработки данных | Meta/conf
▶︎

Apache Flink: Новое поколение потоковой обработки данных | Meta/conf

5  Оркестраторы и работа с Airflow
▶︎

5 Оркестраторы и работа с Airflow

Kafka. Как мы строили корпоративную шину данных, которая обрабатывает до 3 млн сообщ./сек. / И.Гаас
▶︎

Kafka. Как мы строили корпоративную шину данных, которая обрабатывает до 3 млн сообщ./сек. / И.Гаас

Опыт использования Airflow для автоматизации задач R&D (Мосягин Игорь)
▶︎

Опыт использования Airflow для автоматизации задач R&D (Мосягин Игорь)

Postgres 14 и высокие нагрузки / Иван Панченко (Postgres Professional)
▶︎

Postgres 14 и высокие нагрузки / Иван Панченко (Postgres Professional)

Build a Data Platform from scratch (Airflow 3.0, Databricks, Kubernetes)
▶︎

Build a Data Platform from scratch (Airflow 3.0, Databricks, Kubernetes)

Task Orchestration with Apache AirFlow // Demo Lesson for "Python Developer. Professional" Course
▶︎

Task Orchestration with Apache AirFlow // Demo Lesson for "Python Developer. Professional" Course

Архитектура отказоустойчивого платежного шлюза / Алексей Павлов (Wildberries)
▶︎

Архитектура отказоустойчивого платежного шлюза / Алексей Павлов (Wildberries)

101 способ приготовления RabbitMQ и о pipeline-архитектуре / Павел Филонов (Positive Technologies)
▶︎

101 способ приготовления RabbitMQ и о pipeline-архитектуре / Павел Филонов (Positive Technologies)

Airflow Tutorial for Beginners - Full Course in 2 Hours 2022
▶︎

Airflow Tutorial for Beginners - Full Course in 2 Hours 2022

GREENPLUM ЧТО ЗА ЗВЕРЬ И КАК ЕГО ПРИРУЧИТЬ / ДМИТРИЙ ПАВЛОВ
▶︎

GREENPLUM ЧТО ЗА ЗВЕРЬ И КАК ЕГО ПРИРУЧИТЬ / ДМИТРИЙ ПАВЛОВ

Начало работы с apache airflow -  "Школы Больших Данных" г. Москва
▶︎

Начало работы с apache airflow - "Школы Больших Данных" г. Москва

Евгений Ермаков — Эволюция архитектур платформы данных
▶︎

Евгений Ермаков — Эволюция архитектур платформы данных

Бахтагуль Имашева, «AirFlow — дата-процессы нового уровня в Колёсах», Kolesa Conf 2021
▶︎

Бахтагуль Имашева, «AirFlow — дата-процессы нового уровня в Колёсах», Kolesa Conf 2021