DL2022: Векторные представления слов и текстов (часть 1)

Курс "Глубокое обучение (Deep Learning)" страница курса: https://github.com/Dyakonov/DL автор курса: Александр Дьяконов (https://dyakonov.org/) В этой лекции... Способы представления слов: классические: OHE, counts, LSA, кластеризация, LDA. Вложение слов в непрерывное пространство (embedding). word2vec: CBOW, skip-gram. Negative Sampling. Ближайшие соседи. Операции над представлениями слов. Fasttext. Glove: Global Vectors for Word Representation. Contextualized Word Embeddings. Embeddings in Tag LM. CoVe = Contextual Word Vectors. ELMo: Embeddings from Language Models. FLAIR: Contextual String Embeddings for Sequence Labelling. Представление текстов.