【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】#130

プロモーション：Notion AI Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。 https://ntn.so/yurucom1 大規模言語モデルの肝「単語ベクトル」とは？「単語を数字の組で表す」「ぬくもりを捨てることで実現した技術」「Transformerはとにかく何かいい感じになる」など、自然言語を扱うコンピュータ科学の技術について話しました。 【ことラボ】 ◯Twitter → https://x.com/KotoLaboRyo ◯YouTube →    / @kotolabo   ◯「単語ベクトル」とは何か？ →    • 「単語ベクトル」とは何か？   【目次】 0:00 コアラの対義語は？ 0:46 大規模言語モデルの肝「単語ベクトル」 6:36 単語を数字の組で表す 14:32 実際には「次元圧縮」している 18:00 対義語は真逆のベクトル？ 21:57 ぬくもりを捨てることで実現した技術 26:56 素晴らしきNotionAI 30:18 文脈化単語埋め込みは味付け化係 38:34 とにかく何かいい感じになる 43:33 ニューラルネットワークとは何なのか 【参考文献】 ◯大規模言語モデル入門 https://amzn.to/3VKqed7 ◯キテレツおもしろ自然言語処理 https://amzn.to/3VwInd4 ◯風俗の虫―捜査官が覗いた日本の風俗70年 https://amzn.to/4bbs62W ◯自然言語処理の必須知識！Word2Vec とは？ https://www.kikagaku.co.jp/kikagaku-b... ※単語ベクトルの出典 ◯【入門】深層学習の革命児！Transformer を今こそ理解しよう https://www.kikagaku.co.jp/kikagaku-b... ※文脈化単語埋め込みの出典 【サポーターコミュニティへの加入はこちらから！】 https://yurugengo.com/support 【親チャンネル：ゆる言語学ラジオ】    / @yurugengo   【実店舗プロジェクト：ゆる学徒カフェ】    / @yurugakuto   【おたよりフォーム】 https://forms.gle/BLEZpLcdEPmoZTH4A ※皆様からの楽しいおたよりをお待ちしています！ 【お仕事依頼はこちら！】 [email protected] 【堀元見プロフィール】 慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。 Twitter→  / kenhori2   noteマガジン→https://note.com/kenhori2/m/m125fc452... 個人YouTube→   / @kenhorimoto   【水野太貴プロフィール】 名古屋大学文学部卒。専門は言語学。 某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。 Twitter→  / yuru_mizuno   【姉妹チャンネル】 ◯ゆる音楽学ラジオ(   / @yuruongaku  ) ◯ゆる民俗学ラジオ (   / @yuruminzoku  ) ◯ゆる天文学ラジオ (   / @yurutenmon  ) ◯ゆる書道学ラジオ (   / @kaku2shika2  ) ◯ゆる生態学ラジオ (   / @yuruseitai  ) ◯ゆる哲学ラジオ (   / @yurutetsugaku   ) #大規模言語モデル #ゆるコンピュータ科学ラジオ_大規模言語モデル