自然言語処理
プロンプトエンジニアリング
プロンプトエンジニアリングとは、自然言語モデルに対する入力（プロンプト）を開発する技術のことを言います。通常ChatGPTを使うのに、特別な知識や技術は必要ありません。ただ、効率的に欲しい情報を得ようとした時には、工夫が […]
gpt-3.5-turboを使って、関西弁のチャットボットを作ってみた
ここ数ヶ月の間、OpenAIのGPTモデルについて、色々と調査してきました。確かに、従来のモデルに比べて格段に自然です。T5を使って特定タスク向けに学習させようとしてきたのですが、そのモチベーションが薄れてしまいました。 […]
自然言語処理モデルを直感的に理解したい（２）OpenAI GPT
前回はTransformerの特徴であるアテンションについて詳しく調べてみました。 今回は、具体的なモデルの例としてOpenAIのGPTについて調べていきます。 OpenAI GPT OpenAIが開発した初代のGPT( […]
自然言語処理モデルを直感的に理解したい（１） Transformer
「ChatGPTはなぜ自然な会話ができる様になったのか？」 多くの人が不思議に思うことだと思います。私はAIの研究者ではなくシステム開発者なので、元となる自然言語処理モデルを自分で作ったり、評価したりすることはないと思い […]
ChatGPT PlusにアップグレードしてGPT-4を使ってみる
Open AIのGPT-4がLimited beta版として公開されました。OpenAIの公式WebPageはこちら。 現時点ではAPIは使うことができず、waitlistに登録して待ち状態となっています。 今回はCha […]
OpenAI ChatGPTのモデル(gpt-3.5-turbo)を使ってみる
ChatGPTで使われているモデルgpt-3.5-turboが公開され、自作のプログラムからも利用可能となりました。合わせてモデルの体系も少し変化したようです。 驚くべきことに、以下の記事で紹介した”text-davin […]
Dialogflowを使った日付の音声入力
日常会話の中で、日付に言及する場合、「2023年2月13日に会いましょう」のような表現をすることはあまりないと思います。通常は「今日」を基点として、「明日」とか「来週の日曜」とか、表現するのではないでしょうか？ 現在、音 […]
Google Cloud Natural Language APIを使ったテキストのカテゴリ分類
テキストの分類はその目的によって、様々な方法がとられます。Sentiment分析やEmotion分析も分類タスクの一つと考えられます。これらはテキストと分類結果との組み合わせを学習させることにより、実現しています。 以下 […]
Twitter APIで取得したデータをクリーニングする（前処理）
前回、TwitterのAPIを使って、学習用データを簡易に取得する方法について記事化しました。 取得したデータは、かなり自由に書かれています。このままでは学習データとして使えませんので、いくつかのフィルターをかけて整形し […]
Twitter APIを使ってツイートデータを取得する（Essential版）
自然言語処理の勉強をしていて一番大変なのは、学習用のデータを集めることです。いくつかのオープンデータが提供されていますが、公的研究機関や、大学関係者などに利用を限定されている場合が多いようです。 一般の開発者がお手軽にデ […]