Антон Смирнов. ETL платформа. Первые шаги

00:00:00 Введение 00:01:50 Проект — Цели: автоматизация, снижение сроков и затрат, непростая инфраструктура. 00:03:09 Подготовка — Контракты с поставщиками, формирование межфункциональной команды. 00:04:31 Архитектура — Источники, стейджи, хранилище, витрины, исключение витринного слоя. 00:07:54 План — Тестовая эксплуатация до конца 2024, метрика — снизить срок релиза на 80%. 00:11:07 Технологии — Исследование через лабораторный подход, выбор самописного решения. 00:12:56 Процесс — Загрузка из Kafka, преобразование, архивы, ошибки, импортозамещение Microsoft. 00:13:34 Архитектура — Передача данных через сервисы, сырой слой данных. 00:14:13 Оптимизация — Решение не укладывалось, отказ от неэффективных сервисов, автоматизация. 00:15:08 Реализация — В коде возможность переноса в Kubernetes, Jenkins + Nexus + CDD. 00:16:12 Тест — Стажер за 4 часа 12 мин, быстрее на 94%, итоги — низкий порог входа. 00:17:28 Эффективность — Экономия 125 чел. дн. в год, платформа — база автоматизаций. 00:18:28 Итоги — Новые элементы дешевле, проект — MVP, метрики — защита у руководства.