自然言語処理
Google Cloud Natural Language APIを使ったテキストのカテゴリ分類
テキストの分類はその目的によって、様々な方法がとられます。Sentiment分析やEmotion分析も分類タスクの一つと考えられます。これらはテキストと分類結果との組み合わせを学習させることにより、実現しています。 以下 […]
Twitter APIで取得したデータをクリーニングする（前処理）
前回、TwitterのAPIを使って、学習用データを簡易に取得する方法について記事化しました。 取得したデータは、かなり自由に書かれています。このままでは学習データとして使えませんので、いくつかのフィルターをかけて整形し […]
Twitter APIを使ってツイートデータを取得する（Essential版）
自然言語処理の勉強をしていて一番大変なのは、学習用のデータを集めることです。いくつかのオープンデータが提供されていますが、公的研究機関や、大学関係者などに利用を限定されている場合が多いようです。 一般の開発者がお手軽にデ […]
OpenAI GPT-3(text-davinci-003)でEmotion分析してみる
GPT-3の最新モデルを使ったChatGPTが話題のようです。Chat GPTについては賛否両論あるようですが、まずは元となるモデルで、何が、どんなレベルでできるのかを理解する必要があると考えています。 前回はplayg […]
OpenAIの文章生成モデル（GPT-3 text-davinci-003） を使ってみる
Open AIは人工知能を研究する団体です。画像生成モデルのDALL-Eや、文章生成モデルのGPT-3などが有名です。先月、GPT-3の最新モデルが公開されたとのことですので、試してみました。 言語モデル GPT−3には […]
Emotion 分析 (ML-Ask, IBM Watson)
自然言語処理の一つのタスクとして感情分析があります。人間同士であっても相手の感情を理解することは難しいですし、状況によっても受け取り方が異なります。 なお、言葉の定義として当サイトでは、ポジティブ、ネガティブ、ニュートラ […]
Sentiment分析(Microsoft Azure, Google Cloud, IBM Watson)
Sentiment分析は、自然言語処理の分野で昔から研究されてきました。クラウドサービスとしても一般的に提供されていますが、その結果がどのくらい自分の感覚と一致するのか？あるいは、サービスによってどの程度異なるのかを試し […]
Flutter 音声認識 （Web Speech API/Google Speech)
以前、音声チャットボットアプリを作るために、「Flutter 音声認識」の記事を書きました。 とりあえず、実装はできましたが、Web SpeechAPI,、google_speech(Google Cloud speec […]
Dialogflowを使った自然言語処理（４） 会話の分岐（Condition)
時間による分岐 チャットボットを作る場合に、同じユーザ入力に対しても、時間によって応答を変更したい場合があります。例えば、お店のボットだったら営業時間内か否かで分岐するような場合です。 今回は、朝「おはよう」といった時に […]
Dialogflowを使った自然言語処理（３） webhook
Dialogflowのwebhookとは Webhook は、ビジネス ロジックをホストするサービスです。Webhook では、セッション中に Dialogflow の自然言語処理で抽出されたデータを使用するこ […]