#055 ML Илья Гусев. Как запускать большие языковые модели локально

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания! Ссылки выпуска: Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/) Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/) Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-gen...) Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-g...) Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850) Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_process...) Выпуск подкаста на mawe - https://mlpodcast.mave.digital/ep-55 Все выпуски подкаста на mawe - https://mlpodcast.mave.digital Подкаст на Apple Podcasts - https://podcasts.apple.com/ru/podcast... Подкаст на Google Подкастах - https://podcasts.google.com/feed/aHR0... Подкаст в Яндекс Музыке - https://music.yandex.ru/album/9781458 Паблик подкаста ВКонтакте - https://vk.com/mlpodcast Телеграм-канал "Стать специалистом по машинному обучению" - https://t.me/toBeAnMLspecialist Чат в телеграм, где можно обсудить выпуски, предложить гостей и темы подкаста и просто пообщаться (https://t.me/MachineLearningPodcast) Телеграм автора подкаста - @kmsint Бесплатный курс по созданию телеграм-ботов на Python и aiogram от автора подкаста - https://stepik.org/course/120924/ Продвинутый курс по созданию телеграм-ботов на Python - https://stepik.org/a/153850 Поблагодарить автора подкаста можно добрым словом и/или донатом: https://www.tinkoff.ru/rm/kryzhanovsk...