Transformer

2025年3月5日

ここまでで、Transformerの基本構造と内部の処理について記述してきました。この章では、Transformerを基にした代表的な以下のモデルを取り上げ、どのような違いがあるのか見ていきたいと思います。 5.1 B […]

2025年3月4日

第3章: Attention機構の仕組み Transformerの革新の中心となるのがAttention機構です。特に、Self-Attention（自己注意メカニズム）は、入力文中の単語間の関係をモデル化するための鍵と […]

2025年3月3日

Transformerは、生成AIを理解する上で重要な技術です。以前、「直感的に理解したい」と思い、調べた結果を以下の記事にしました。概念的には理解できたのですが、やはり「体系的に理解したい」と思い、まとめ直してみまし […]

2023年4月2日

「ChatGPTはなぜ自然な会話ができる様になったのか？」　多くの人が不思議に思うことだと思います。私はAIの研究者ではなくシステム開発者なので、元となる自然言語処理モデルを自分で作ったり、評価したりすることはないと思い […]