Attention

自然言語処理
Transformerの仕組みを体系的に理解したい 第3章

第3章: Attention機構の仕組み Transformerの革新の中心となるのがAttention機構です。特に、Self-Attention(自己注意メカニズム)は、入力文中の単語間の関係をモデル化するための鍵と […]

続きを読む
自然言語処理
自然言語処理モデルを直感的に理解したい(1) Transformer

「ChatGPTはなぜ自然な会話ができる様になったのか?」 多くの人が不思議に思うことだと思います。私はAIの研究者ではなくシステム開発者なので、元となる自然言語処理モデルを自分で作ったり、評価したりすることはないと思い […]

続きを読む