Transformerの仕組みを体系的に理解したい 実践編
OpenAIやAnthropic ,Googleなどの巨大IT企業が新しい大規模LLMモデルを開発し続けているので、一般的な用途ではファインチューニングの必要性はあまり感じられなくなりました。LLM自体がすでに一般人以上 […]
Transformerの仕組みを体系的に理解したい 第５章
ここまでで、Transformerの基本構造と内部の処理について記述してきました。 この章では、Transformerを基にした代表的な以下のモデルを取り上げ、どのような違いがあるのか見ていきたいと思います。 5.1 B […]
Transformerの仕組みを体系的に理解したい 第４章
第4章: Transformerの全体構造 前章では、Transformerの核となるAttention機構について記述しました。 この章では、Transformer全体の構造を記述していきます。特に、エンコーダーとデコ […]
Transformerの仕組みを体系的に理解したい 第３章
第3章: Attention機構の仕組み Transformerの革新の中心となるのがAttention機構です。特に、Self-Attention（自己注意メカニズム）は、入力文中の単語間の関係をモデル化するための鍵と […]
Transformerの仕組みを体系的に理解したい 第１章、第２章
Transformerは、生成AIを理解する上で重要な技術です。以前、「直感的に理解したい」と思い、調べた結果を以下の記事にしました。 概念的には理解できたのですが、やはり「体系的に理解したい」と思い、まとめ直してみまし […]
PDFファイルを使ったRAGに挑戦（３）LangChain
この記事では、LangChainライブラリを使って、前回変換したMarkdownファイルをデータベース化する方法を紹介します。これにより、前回のようにMarkdownコンテンツを直接LLM（大規模言語モデル）に送る方法に […]
PDFファイルを使ったRAGに挑戦（２）
今回は、以下の記事の続きです。 Markdownを使ったRAG 単純にテキストを抽出しただけでは文書の構造情報が失われてしまうため、PDFからMarkdown形式に変換することで構造を保ちながらLLMへ入力する方法を試し […]
PDFファイルを使ったRAGに挑戦（１）
今ではLLMを使う場合にRAG(Retrieval-augmented generation)の技術は必須となってきています。理屈は理解できているのですが、本当に正しく知識をつかえて言えるのか心配ですよね。 今回、SIG […]
AivisSpeech-engineの速度計測
これまで、CPU,GPUそれぞれのクラウドサーバでAivisSpeechを動かしてきました。 せっかくなので、どのくらいの差が出るのか、簡単に測定してみたいと思います。 測定コード 測定は、GoogleColabからおこ […]
AivisSpeech-engineをGPUクラウドで立ち上げてみた（１）
前回、AivisSpeech-engineをVPS(CPUサーバ）で立ち上げてみましたが、Chatbotには少し応答速度が足りず、GPUクラウドを試してみることにしました。国内にも格安のGPUクラウドがありますが、コンテ […]