671 Milliarden Parameter – und trotzdem passt es auf deinen PC

671 Milliarden. So groß ist eines der stärksten offenen Modelle, das du heute herunterladen kannst, und das Bauchgefühl sagt sofort: nur für Rechenzentren, niemals für mich. Falsch. Die Größe eines Modells ist nämlich nicht eine Zahl, sondern insgeheim zwei, und moderne Modelle reißen die beiden mit einem Trick auseinander. In dieser Folge nimmst du die Architektur eines modernen LLM auseinander und lernst, warum compute und memory zwei getrennte Rechnungen sind. Du siehst, wie Mixture-of-Experts (MoE) mit einem router nur ein paar von vielen experts feuert, warum ein Modell deshalb schnell wie ein 22B-Modell ist, aber trotzdem Speicher für alle Parameter braucht (der Fehler, über den fast jeder stolpert), und warum Mixtral 8x7B 46,7B groß ist und nicht 56B. Danach die Attention-Leiter MHA, MQA, GQA bis zu MLA, mit der DeepSeek den KV cache um rund 93 Prozent geschrumpft hat, jetzt auch in Modellen wie Kimi. Am Ende kannst du jedes spec sheet selbst lesen und vor dem Download sagen, welche Rechnung wirklich zubeißt. Staffel 3, Folge 4 von How AI Works, ein kostenloser Kurs darüber, wie KI wirklich von innen funktioniert. Wenn dir das hilft: abonniere @HowAIWorksHQ, lass ein Like da und teile das Video mit jemandem, der ein großes Modell selbst laufen lassen will. Jede Woche eine neue Folge. #MixtureOfExperts #MoE #DeepSeek #Mixtral #LLM #GPU #HowAIWorks #LernAI