Как нейросети кодируют знания: на примере обучения Word2Vec, MLP

https://uzooplatform.com - Платформа развития AI через децентрализацию Телеграм-канал: https://t.me/ruslandevlive Код из видео: https://github.com/RuslanPeresy/knowl... Веса моих моделей: https://huggingface.co/ruslandev/know... Статьи, использованные в видео: ​AI может стать поворотным пунктом в методе познания — наравне с изобретением письменности - https://uzooplatform.com/en/pages/ai-... ​ICL является свойством структуры естественного языка, которое в трансформере адаптируется через self-attention - https://uzooplatform.com/en/pages/icl... Efficient Estimation of Word Representations in Vector Space - https://arxiv.org/abs/1301.3781 Distributed Representations of Words and Phrases and their Compositionality - https://arxiv.org/abs/1310.4546 Тайм коды: 00:00:00 Связь ИИ, знания и письменности 00:01:28 Латентные признаки 00:02:20 Токенизация 00:06:31 Эмбеддинги 00:07:15 Эмбеддинг как абстракция 00:09:57 Код обучения эмбеддинга 00:11:13 Сабсэмплинг 00:12:19 Генерация датасета для word2vec 00:14:07 Модель SkipGram 00:16:07 Negative sampling 00:19:07 Обучение SkipGram 00:21:35 Оценка модели-эмбеддинга 00:26:37 Как LLM обобщают статистику 00:28:47 Код обучения MLP 00:29:31 Генерация датасета для next token 00:29:53 Архитектура модели 00:32:50 Как семантика меняется в контексте 00:33:58 Активация и проекция на vocab 00:37:14 Обучение MLP 00:38:00 Инференс 00:39:15 Нормализация LayerNorm 00:40:03 Инференс с нормализацией 00:41:10 Бесконечность знаний LLM 00:42:27 Ключ в системах письменности 00:45:31 LLM и естественные языковые модели 00:47:26 Заключение