第47集:人工智能的分水岭:Transformer架构,之,自注意力机制!

如果要把人工智能的发展分为两个阶段,大部分的业内人士都会把Transformer架构的出现作为标志性的分水岭事件。那transformer到底有什么魔力,点燃了AI时代呢?那就要从注意力机制(Attention Mechanism)说起了! 00:00 - AI的分水岭:transformer 00:59 - 彻底解决捕捉远距离依赖问题 04:11 - 依赖概率矩阵 08:53 - 注意力机制的输入 13:52 - 注意力机制的算法 21:30 - 下期预告

Chichvarkin Saves Putin | Vitaly Portnikov
▶︎

Chichvarkin Saves Putin | Vitaly Portnikov

【李永乐老师】中国数学家王虹、邓煜获得菲尔兹奖!一个视频告诉你王虹研究的挂谷猜想是什么
▶︎

【李永乐老师】中国数学家王虹、邓煜获得菲尔兹奖!一个视频告诉你王虹研究的挂谷猜想是什么

AI 최후의 승자 이래서 구글입니다 (KAIST 전자및전기공학부 김정호 교수)
▶︎

AI 최후의 승자 이래서 구글입니다 (KAIST 전자및전기공학부 김정호 교수)

【人工智能】智能的本质 | 马毅教授 | CRATE架构 | 简约性与自洽性 | 编码率降低 | 结构化记忆 | 机器认知相变 | 具身智能 | 智能演化四阶段 | 白盒Transformer
▶︎

【人工智能】智能的本质 | 马毅教授 | CRATE架构 | 简约性与自洽性 | 编码率降低 | 结构化记忆 | 机器认知相变 | 具身智能 | 智能演化四阶段 | 白盒Transformer

기업이 꼭 알아야 할 '온톨로지'의 모든 것 (김학래 중앙대 교수)
▶︎

기업이 꼭 알아야 할 '온톨로지'의 모든 것 (김학래 중앙대 교수)

China quietly saved the world last month
▶︎

China quietly saved the world last month

20分钟读懂AI史上最重要的一篇论文《Attention Is All You Need》
▶︎

20分钟读懂AI史上最重要的一篇论文《Attention Is All You Need》

Nvidia’s Jensen Huang on AI doomers, job fears and China
▶︎

Nvidia’s Jensen Huang on AI doomers, job fears and China

Synthesia-Gründer: ChatGPT ist NICHTS zu dem, was JETZT kommt! Weltmodelle, Physical AI & Zukunft
▶︎

Synthesia-Gründer: ChatGPT ist NICHTS zu dem, was JETZT kommt! Weltmodelle, Physical AI & Zukunft

AlphaGo - The Movie | Full award-winning documentary
▶︎

AlphaGo - The Movie | Full award-winning documentary

【生成式人工智慧與機器學習導論2025】第1講:一堂課搞懂生成式人工智慧的原理
▶︎

【生成式人工智慧與機器學習導論2025】第1講:一堂課搞懂生成式人工智慧的原理

全面解析“世界模型”:定义、路线、实践与AGI的更近一步
▶︎

全面解析“世界模型”:定义、路线、实践与AGI的更近一步

Yann LeCun's $1B Bet Against LLMs [Part 1]
▶︎

Yann LeCun's $1B Bet Against LLMs [Part 1]

从 LLM 到 Agent Skill,一期视频带你打通底层逻辑!
▶︎

从 LLM 到 Agent Skill,一期视频带你打通底层逻辑!

L'IA vient de se déchaîner (et personne n'en parle)
▶︎

L'IA vient de se déchaîner (et personne n'en parle)

硅谷3000億打水漂?MIT一個實驗,扯下AI大模型的底褲 #張良的發現
▶︎

硅谷3000億打水漂?MIT一個實驗,扯下AI大模型的底褲 #張良的發現

Creator of C++: Bell Labs, Negative Overhead Abstraction, Mistakes | Bjarne Stroustrup
▶︎

Creator of C++: Bell Labs, Negative Overhead Abstraction, Mistakes | Bjarne Stroustrup

他想證明世界是假的,卻撞見老子的「道」/ 你眼中的世界存在一個「底層真相」! / 眼前一切都是「腦補」《不實在的現實》| 青茶說
▶︎

他想證明世界是假的,卻撞見老子的「道」/ 你眼中的世界存在一個「底層真相」! / 眼前一切都是「腦補」《不實在的現實》| 青茶說

【人工智能】推理的本质 | Denny Zhou斯坦福讲座 | 什么是推理 | 思考的必要性 | 思维链提示 | 贪婪解码 | 置信度 | step-by-step | SFT | 验证器
▶︎

【人工智能】推理的本质 | Denny Zhou斯坦福讲座 | 什么是推理 | 思考的必要性 | 思维链提示 | 贪婪解码 | 置信度 | step-by-step | SFT | 验证器

李嘉誠怎麼得罪了習近平?從福州到巴拿馬的30年恩怨【文昭思緒飛揚559】
▶︎

李嘉誠怎麼得罪了習近平?從福州到巴拿馬的30年恩怨【文昭思緒飛揚559】