Transformer誕生物語｜Attention is All You Need

こちらの論文を解説します： Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017). https://proceedings.neurips.cc/paper/... 📄 スライド：https://speakerdeck.com/mathbullet/do... 🐧 Twitter：https://x.com/_mathbullet 🎥 エージェント入門：   • 【入門】AIエージェントの深淵【図解】   👨🏻‍🎓 アジェンダ 00:00:25 今回の内容 00:01:48 なぜこの論文が重要なのか 00:03:45 人工知能の論文を読む切り口 00:06:41 系列モデリング 00:11:45 対抗馬は何か 00:19:57 主提案は何か 00:31:20 位置符号化 00:37:20 マルチヘッド自己注意 00:56:12 Point-wise Feed Forward Network 00:59:57 最終出力 01:06:23 評価のWhat/Result 01:13:32 その後の展開 --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、スミス #transformer #llm #attention #chatgpt