On recode un LLM de ZÉRO (ou presque)

Dans cette vidéo, on recode un mini LLM de type GPT en PyTorch, étape par étape : tokenizer BPE, dataset, embeddings, attention, blocs Transformer, entraînement, génération de texte et sampling. L’objectif n’est pas de produire un vrai modèle performant, mais de comprendre concrètement les grandes briques derrière un LLM moderne. Les mini datasets inclus dans le repo servent surtout à tester la pipeline complète sans fichiers trop lourds. Les modèles entraînés par défaut sont donc volontairement très limités. 💻 Repo GitHub : https://github.com/OihanBarreneche/MI... 📁 Drive avec data/saved plus conséquents (TinyStories, FineWeb FR et datasets procéduraux) : prochainement ⚠️ Je ne suis pas expert en deep learning ni en entraînement de LLMs. Cette vidéo est un exercice de vulgarisation et de compréhension par la pratique. N’hésitez pas à me corriger en commentaire si vous voyez des imprécisions. Chapitres : 3:10 Introduction du projet 5:58 Tokenization BPE 47:44 Dataset et Batchs 1:13:30 Embeddings 1:43:34 Attention et Têtes 2:26:10 FeedForward 2:34:47 Blocks, Transformer et LayerNorm 3:00:52 Model 3:27:30 Training 3:46:55 Génération 4:07:12 Pipeline Main 4:19:48 Démo TinyStories [ENG] 4:25:23 Démo FineWeb [FR] 4:40:22 Datasets procéduraux Pour aller plus loin : Ressources très proches du projet Andrej Karpathy - Let's build GPT from scratch [EN]    • Let's build GPT: from scratch, in code, sp...   Andrej Karpathy - Let's reproduce GPT-2 [EN]    • Let's reproduce GPT-2 (124M)   TinyStories: How Small Can Language Models Be and Still Speak Coherent English? [EN] https://arxiv.org/abs/2305.07759 llms-from-scratch, repo PyTorch pédagogique avec notebooks [EN] https://github.com/analyticalrohit/ll... GuppyLM, notebook Colab pour entraîner un petit LLM spécialisé d’environ 9M de paramètres [EN] https://colab.research.google.com/git... Ressources d’intuition générale sur les LLMs Webinaire d’introduction aux LLMs [FR]    • Construire un LLM (Grand Modèle de Langage...   Alexandre TL - Transformers en dessins [FR]    • Les Transformers en dessin   Comprendre l’autograd Alexandre TL - recoder l’autograd, partie 1 [FR]    • Graphe de calcul et différentiation automa...   Alexandre TL - recoder l’autograd, partie 2 [FR]    • Coder backpropagation en Python   Dans cette vidéo, je choisis d’utiliser l’autograd automatique de PyTorch pour ne pas trop complexifier le projet. Recoder aussi toute la différentiation automatique serait très intéressant, mais ça mériterait une vidéo dédiée. Loss, entropie et cross-entropy 3Blue1Brown - entropy / information theory [EN]    • Reinventing Entropy | Compression is Intel...   Architectures et pistes modernes Bycloud - vidéo de vulgarisation sur des pistes d’architectures plus flexibles pour les LLMs [EN]    • LLM that loops instead of Doing Chain-of-T...   Outils utilisés : PyTorch : modèle, entraînement, autograd IA : recherches, relecture, corrections, aide ponctuelle sur PyTorch, les formes de tenseurs, la collecte de données et certaines parties du code #VulgarisationIA #LLM #GPT #PyTorch #Transformer #DeepLearning #MachineLearning #IntelligenceArtificielle #IA #NLP #Tokenization #Attention #NeuralNetworks #DataScience #Python #Informatique #Vulgarisation #FR #français