Data Fest 2026 | Александр Тюрин: оптимальная распределенная оптимизация

Доклад Александра Тюрина «Оптимальные методы распределенной оптимизации с учетом пропускной способности» в секции Mathematics & ML на Data Fest 2026, день 4, 26 мая, в гостях у Сбера Спикер: Александр Тюрин — кандидат компьютерных наук, старший преподаватель Центра ИИ Сколтеха, руководитель группы «Методы оптимизации в машинном обучении» AIRI. Современные модели машинного обучения всё чаще обучаются распределенно: на нескольких GPU, кластерах или вычислительных узлах, связанных между собой сетью. В такой постановке важна не только скорость вычислений на каждом устройстве, но и то, насколько быстро устройства могут обмениваться градиентами и другими данными. Если отдельные каналы связи оказываются медленными, они могут замедлять всё обучение. В докладе Александр Тюрин рассматривает математическую постановку этой задачи: как выбрать подмножество устройств для обучения, как учитывать пропускную способность ребер в графе связей и как построить алгоритм, оптимальный по ключевым параметрам. В числе тем — стохастический градиентный спуск, AllReduce, выбор рабочих узлов с помощью дерева Гомори — Ху, упаковка штейнеровыми деревьями, а также различие между однородным и гетерогенным распределенным обучением. Таймкоды: 00:00 — Постановка задачи: зачем оптимизация нужна в машинном обучении 01:16 — Распределенное обучение и граф связей между устройствами 03:41 — Основные предположения: гладкость функции и стохастические градиенты 05:21 — Простые подходы к распределенному обучению и их ограничения 07:47 — Идея оптимального алгоритма 09:19 — Как выбрать подмножество устройств для обучения 11:10 — AllReduce и упаковка штейнеровыми деревьями 13:20 — Примеры графов: звезда, p-тор, кластеры в разных регионах 15:34 — Гетерогенное обучение 17:53 — Эксперименты и практические ограничения 18:28 — Вопросы из зала #DataFest2026 #ODS #Skoltech #AIRI #MachineLearning #DistributedOptimization #MathematicsML