pdf

クライアント開発
PDFファイルを使ったRAGに挑戦(3)LangChain

この記事では、LangChainライブラリを使って、前回変換したMarkdownファイルをデータベース化する方法を紹介します。これにより、前回のようにMarkdownコンテンツを直接LLM(大規模言語モデル)に送る方法に […]

続きを読む
データ分析
PDFファイルを使ったRAGに挑戦(2)

今回は、以下の記事の続きです。 Markdownを使ったRAG 単純にテキストを抽出しただけでは文書の構造情報が失われてしまうため、PDFからMarkdown形式に変換することで構造を保ちながらLLMへ入力する方法を試し […]

続きを読む
データ分析
PDFファイルを使ったRAGに挑戦(1)

今ではLLMを使う場合にRAG(Retrieval-augmented generation)の技術は必須となってきています。理屈は理解できているのですが、本当に正しく知識をつかえて言えるのか心配ですよね。 今回、SIG […]

続きを読む
自然言語処理
OpenAIのアシスタントAIを使ってPDF資料を説明させてみた

現時点(2023年11月)でベータ版ではありますが、OpenAIがアシスタントAIを作成するためのAPIを公開したので、試してみました。 公式によるアシスタントAIの概要を引用します。 threadオブジェクトにmess […]

続きを読む