ChatGPT od środka: jak naprawdę działa LLM?

Dołącz do newslettera i pobierz ebooka z rozszerzonym opracowaniem filmu (link w mailu powitalnym) - https://olafsulich.pl/ Korzystamy z AI na co dzień, często nie zastanawiając się, jak naprawdę powstają odpowiedzi. To tylko komputerowy algorytm, czy nowy gatunek inteligentnych maszyn? Asystenci tacy jak ChatGPT działają w oparciu o duże modele językowe (LLM). W tym filmie rozkładamy je na czynniki pierwsze: z czego są zbudowane, jak są trenowane i dostrajane tak, żeby odpowiadać jak ludzie. Nie bój nic, nie musisz znać matematyki ani programowania, żeby ogarnąć całość :) Wpadnij też na: Instagram:   / olaf.sulich   Linkedin:   / olaf-sulich   Newsletter: https://www.olafsulich.pl/ Źródła: OpenAI in Deal Talks That Would Value the Company at $500 Billion - The New York Times https://www.nytimes.com/2025/08/19/te... Musk’s AI startup sues OpenAI and Apple over anticompetitive conduct - The Guardian https://www.theguardian.com/technolog... AI startup Anthropic agrees to pay $1.5bn to settle book piracy lawsuit - The Guardian https://www.theguardian.com/technolog... FineWeb https://huggingface.co/spaces/Hugging... CommonCrawl https://commoncrawl.org/ Neural Machine Translation of Rare Words with Subword Units https://arxiv.org/abs/1508.07909 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 GPT-4 Technical Report https://arxiv.org/abs/2303.08774 Language Models are Unsupervised Multitask Learners https://cdn.openai.com/better-languag... A New Algorithm for Data Compression https://www.derczynski.com/papers/arc... Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165 Attention Is All You Need https://arxiv.org/abs/1706.03762 LLM Visualization https://bbycroft.net/llm Efficient Estimation of Word Representations in Vector Space https://arxiv.org/abs/1301.3781 Training Compute-Optimal Large Language Models https://arxiv.org/abs/2203.15556 The Llama 3 Herd of Models https://arxiv.org/abs/2407.21783 Training language models to follow instructions with human feedback https://arxiv.org/abs/2203.02155 Fine-Tuning Language Models from Human Preferences https://arxiv.org/abs/1909.08593 RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback https://arxiv.org/abs/2309.00267 Direct Preference Optimization: Your Language Model is Secretly a Reward Model https://arxiv.org/abs/2305.18290 DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning https://arxiv.org/abs/2501.12948 Fragmenty materiały wideo w filmie: Garry Kasparov: IBM Deep Blue, AlphaZero, and the Limits of AI in Open Systems | AI Podcast Clips    • Garry Kasparov: IBM Deep Blue, AlphaZero, ...   AlphaGo - The Movie | Full award-winning documentary    • AlphaGo - The Movie | Full award-winning d...   Introducing GPT-5    • Introducing GPT-5   Apps in ChatGPT    • Apps in ChatGPT   President Trump Delivers Remarks and Signs Executive Orders at AI Summit    • President Trump Delivers Remarks and Signs...   Elon Musk Is Going Ahead with OpenAI Lawsuit    • Elon Musk Is Going Ahead with OpenAI Lawsuit   Do stworzenia tło miniatury użyłem "Apple's M4 Chip Grapic by crinzip" z Figma Community. Rozdziały: 00:00 Wstęp 01:28 Wprowadzenie do AI 02:50 LLM - duży model językowy 03:13 Dane treningowe 05:35 Tokenizacja 08:25 Cel treningu 11:04 Transformer 12:22 Ebook 13:04 Architektura modelu 17:15 Parametry i proces treningu 20:27 Model bazowy 21:21 Tworzenie asystenta 25:20 Generowanie odpowiedzi 28:52 Podsumowanie Szczególne podziękowania dla mojego przyjaciela Andrzeja, bez którego ten film by nie powstał w takiej formie. Dziękuję za spędzone godziny nad pomocą z dźwiękiem, montażem, miniaturką i za nauczenie mnie mnóstwa rzeczy 🧡