自然言語処理
自然言語処理モデルを直感的に理解したい（２）OpenAI GPT
前回はTransformerの特徴であるアテンションについて詳しく調べてみました。 今回は、具体的なモデルの例としてOpenAIのGPTについて調べていきます。 OpenAI GPT OpenAIが開発した初代のGPT( […]
自然言語処理モデルを直感的に理解したい（１） Transformer
「ChatGPTはなぜ自然な会話ができる様になったのか？」 多くの人が不思議に思うことだと思います。私はAIの研究者ではなくシステム開発者なので、元となる自然言語処理モデルを自分で作ったり、評価したりすることはないと思い […]
ChatGPT PlusにアップグレードしてGPT-4を使ってみる
Open AIのGPT-4がLimited beta版として公開されました。OpenAIの公式WebPageはこちら。 現時点ではAPIは使うことができず、waitlistに登録して待ち状態となっています。 今回はCha […]
OpenAI ChatGPTのモデル(gpt-3.5-turbo)を使ってみる
ChatGPTで使われているモデルgpt-3.5-turboが公開され、自作のプログラムからも利用可能となりました。合わせてモデルの体系も少し変化したようです。 驚くべきことに、以下の記事で紹介した”text-davin […]
Dialogflowを使った日付の音声入力
日常会話の中で、日付に言及する場合、「2023年2月13日に会いましょう」のような表現をすることはあまりないと思います。通常は「今日」を基点として、「明日」とか「来週の日曜」とか、表現するのではないでしょうか？ 現在、音 […]
Google Cloud Natural Language APIを使ったテキストのカテゴリ分類
テキストの分類はその目的によって、様々な方法がとられます。Sentiment分析やEmotion分析も分類タスクの一つと考えられます。これらはテキストと分類結果との組み合わせを学習させることにより、実現しています。 以下 […]
Twitter APIで取得したデータをクリーニングする（前処理）
前回、TwitterのAPIを使って、学習用データを簡易に取得する方法について記事化しました。 取得したデータは、かなり自由に書かれています。このままでは学習データとして使えませんので、いくつかのフィルターをかけて整形し […]
Twitter APIを使ってツイートデータを取得する（Essential版）
自然言語処理の勉強をしていて一番大変なのは、学習用のデータを集めることです。いくつかのオープンデータが提供されていますが、公的研究機関や、大学関係者などに利用を限定されている場合が多いようです。 一般の開発者がお手軽にデ […]
OpenAI GPT-3(text-davinci-003)でEmotion分析してみる
GPT-3の最新モデルを使ったChatGPTが話題のようです。Chat GPTについては賛否両論あるようですが、まずは元となるモデルで、何が、どんなレベルでできるのかを理解する必要があると考えています。 前回はplayg […]
OpenAIの文章生成モデル（GPT-3 text-davinci-003） を使ってみる
Open AIは人工知能を研究する団体です。画像生成モデルのDALL-Eや、文章生成モデルのGPT-3などが有名です。先月、GPT-3の最新モデルが公開されたとのことですので、試してみました。 言語モデル GPT−3には […]