BERT: Model, Analysis and Modifications, part 1 [in Russian]

Slides: https://github.com/bayesgroup/bayesgr... Chat: https://drive.google.com/file/d/11M53... В современном NLP при решении многих задач используются контекстуальные эмбеддинги, предобученные на большом объеме неразмеченных данных. В данном докладе мы поговорим о том, что такое контекстуальные эмбеддинги, и обсудим подробно наиболее базовую и часто используемую модель - BERT. Мы посмотрим на некоторые варианты анализа того, что происходит внутри этой модели, а также познакомимся с ее более поздними модификациями: RoBERTa, ALBERT и другими.