自然言語処理
Transformerの仕組みを体系的に理解したい 実践編
OpenAIやAnthropic ,Googleなどの巨大IT企業が新しい大規模LLMモデルを開発し続けているので、一般的な用途ではファインチューニングの必要性はあまり感じられなくなりました。LLM自体がすでに一般人以上 […]
Transformerの仕組みを体系的に理解したい 第５章
ここまでで、Transformerの基本構造と内部の処理について記述してきました。 この章では、Transformerを基にした代表的な以下のモデルを取り上げ、どのような違いがあるのか見ていきたいと思います。 5.1 B […]
Transformerの仕組みを体系的に理解したい 第４章
第4章: Transformerの全体構造 前章では、Transformerの核となるAttention機構について記述しました。 この章では、Transformer全体の構造を記述していきます。特に、エンコーダーとデコ […]
Transformerの仕組みを体系的に理解したい 第３章
第3章: Attention機構の仕組み Transformerの革新の中心となるのがAttention機構です。特に、Self-Attention（自己注意メカニズム）は、入力文中の単語間の関係をモデル化するための鍵と […]
Transformerの仕組みを体系的に理解したい 第１章、第２章
Transformerは、生成AIを理解する上で重要な技術です。以前、「直感的に理解したい」と思い、調べた結果を以下の記事にしました。 概念的には理解できたのですが、やはり「体系的に理解したい」と思い、まとめ直してみまし […]
Difyを使ってRAGの機能を試してみた
生成AIの弱点の一つはハルシネーション（幻覚）を起こしてしまうことです。もっともらしい”ウソ”をつくので騙されてしまうこともあり得ます。 RAGはRetrieval-Augmented Generation の […]
Difyを使ってAIアプリケーションを作ってみた
VPSを借りてDifyを立ち上げたので、早速アプリケーションを作ってみたいと思います。 AIモデルの設定 Difyでは主要なAIモデルを、簡単にアプリケーションに組み込むことができます。 そのためには、各モデルを使うため […]
格安VPSでDifyを立ち上げてみた
Difyは、AIアプリケーションの開発と運用を簡単にするオープンソースのツールです。Difyのページからクラウドサービスに登録して使い始めることもできます。 お試し程度であれば、Freeプランを使うのも良いかもしれません […]
BERTモデルを使った分類問題をやってみた（コンペティションでの試行錯誤の備忘録）
SIGNATEのコンペティションで、文章分類にチャレンジしました。結果はあまり良くありませんでしたが、間違っていること、よくなかったことも含めて、残しておきたいと思います。 基本的な処理 GPUの利用 以下の一文で、de […]
OpenAIのAssistant APIを使ってFlutter アプリを作ってみた
以前、gpt-3.5-turboを使って、Flutter アプリを作ったことがありました。 [blogcard url="https://nagomi-informal.net/archives/1954"] Open […]