Ярослав Черепанов - Построение пайплайнов обработки данных с использованием Luigi

В процессе решения DS или DE задач иногда возникает необходимость написать переиспользуемый пайплайн, который производит тяжёлые вычисления. Такой код далеко не всегда перезапускается без ошибок, поэтому полезно иметь возможность не терять уже проделанные вычисления. Также, если вычисления действительно долгие, бывает непонятно на каком этапе сейчас находятся расчёты. И в конце концов полезно иметь возможность легко распараллелить расчёты, где это возможно. Всё это можно делать, если написать пайплайн с использованием Luigi. В этом докладе Ярослав расскажет о Luigi и покажет примеры того как писать пайплайны с её применением. 📝 Материалы: https://drive.google.com/file/d/1TARy... 📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий: https://t.me/sberloga 🗨 Обсудить доклады можно в нашем чатике https://t.me/sberlogadataclub