Большие языковые модели. Как ими пользоваться? // Курс «Machine Learning. Professional»

We'll discuss what a large language model is and what pre-trained models exist. We'll work with the ChatGPT API and launch the pre-trained RuGPT3. We'll look at examples of working with the Zero-shot and Few-shot approaches. We'll discuss how to further train LLMs on smaller GPUs using LORA modifiers. Who is this lesson for? IT professionals who want to implement ChatGPT in business processes Those who want to get acquainted with LLM models in the HuggingFace ecosystem Those who want to understand how to adapt large pre-trained models to their own tasks Lesson Outcomes: You'll learn how to work with the ChatGPT API, launch your own LLM presented on HuggingFace, and work with LORA model modifiers. Machine Learning Professional" - https://otus.pw/NsSB/ Instructor: Alexander Brut-Brulyako - PhD Engineer at SBER Neurolab Take the survey following the event - https://otus.pw/JrT0/ Follow the project news: Telegram: https://t.me/Otusjava VKontakte: https://otus.pw/850t LinkedIn: https://otus.pw/yQwQ/ Habr: https://otus.pw/S0nM/ Episodes: 00:00 - Start of recording 01:28 - Meet the instructor and Otus 04:52 - What will the open lesson cover (Open AI, Hugging face, Lora modifier) 06:16 - Tokenization in large language models 10:10 - Transformers built on attention mechanisms 13:00 - Architecture Transformers (encoder, decoder) 15:55 - Embedding for different languages 21:15 - How to train? How to predict the next token based on the previous token (loss function) 25:52 - LLM Zoo 36:18 - How ChatGPT works with examples 47:16 - How to overlay an enterprise knowledge base on top of ChatGPT 53:41 - What's in OpenSource (Hugging face) 1:17:06 - What is fine tuning 1:17:58 - Briefly about career prospects

Langchain - Building an AI Chatbot on Top of Your Documents // Machine Learning. Professional Course
▶︎

Langchain - Building an AI Chatbot on Top of Your Documents // Machine Learning. Professional Course

Введение в большие языковые модели (LLM)
▶︎

Введение в большие языковые модели (LLM)

Что такое RAG в LLM и причём тут векторные базы данных
▶︎

Что такое RAG в LLM и причём тут векторные базы данных

Зачем нужен GPT и как с ним работать? Основы промптинга
▶︎

Зачем нужен GPT и как с ним работать? Основы промптинга

Kafka Fundamentals for Beginners - 5h - Free - Full Source Code
▶︎

Kafka Fundamentals for Beginners - 5h - Free - Full Source Code

Языковые модели для чайников: просто и полезно про BERT и GPT | Вебинар 2021-02-18
▶︎

Языковые модели для чайников: просто и полезно про BERT и GPT | Вебинар 2021-02-18

Андрей Карпати: ИИ, Tesla, Оптимус, инопланетяне и AGI | Подкаст Лекса Фридмана на русском #333
▶︎

Андрей Карпати: ИИ, Tesla, Оптимус, инопланетяне и AGI | Подкаст Лекса Фридмана на русском #333

Fine-tune проиграл. RAG это лучший способ получить точные ответы от LLM. База знаний для нейросетей.
▶︎

Fine-tune проиграл. RAG это лучший способ получить точные ответы от LLM. База знаний для нейросетей.

Методы дообучения LLM (LoRA)
▶︎

Методы дообучения LLM (LoRA)

Где взять данные для предобучения LLM — Анатолий Потапов, Тинькофф
▶︎

Где взять данные для предобучения LLM — Анатолий Потапов, Тинькофф

START YOUR TUESDAY WITH FAITH | TODAY GOD IS GIVING YOU UNEXPECTED OPPORTUNITIES | FATHER FREDDY ...
▶︎

START YOUR TUESDAY WITH FAITH | TODAY GOD IS GIVING YOU UNEXPECTED OPPORTUNITIES | FATHER FREDDY ...

Введение в большие языковые модели от Andrej Karpathy
▶︎

Введение в большие языковые модели от Andrej Karpathy

Может ли у ИИ появиться сознание? — Семихатов, Анохин
▶︎

Может ли у ИИ появиться сознание? — Семихатов, Анохин

Архитектура трансформеров, память LLM и механизм внимания — Михаил Бурцев | Мыслить как ученый #55
▶︎

Архитектура трансформеров, память LLM и механизм внимания — Михаил Бурцев | Мыслить как ученый #55

Открытые модели и их обучение
▶︎

Открытые модели и их обучение

DL2022: Языковые модели (часть 1)
▶︎

DL2022: Языковые модели (часть 1)

Реализация RAG на основе GigaChat. Как искать и генерировать ответы по базе знаний?
▶︎

Реализация RAG на основе GigaChat. Как искать и генерировать ответы по базе знаний?

AI for the Little Ones: How LLM and AI Agent Work
▶︎

AI for the Little Ones: How LLM and AI Agent Work

КАПЛАН: Мозг Эйнштейна, ChatGPT, Интуиция, Neuralink
▶︎

КАПЛАН: Мозг Эйнштейна, ChatGPT, Интуиция, Neuralink

Как работают доменно-ориентированные чат-боты // Курс «Natural Language Processing (NLP)»
▶︎

Как работают доменно-ориентированные чат-боты // Курс «Natural Language Processing (NLP)»