ChatGPT PlusにアップグレードしてGPT-4を使ってみる

Open AIのGPT-4がLimited beta版として公開されました。OpenAIの公式WebPageはこちら。

現時点ではAPIは使うことができず、waitlistに登録して待ち状態となっています。

今回はChatGPT Plusにアップグレードすることで、GPT-4のモデルを使ったChatができるようになっていたので試してみました。

GPT-4

公式ドキュメントのModelsページにGPT-4が加わりました。

LATEST MODEL	DESCRIPTION	MAX TOKENS	TRAINING DATA
gpt-4	More capable than any GPT-3.5 model, able to do more complex tasks, and optimized for chat. Will be updated with our latest model iteration.	8,192 tokens	Up to Sep 2021
gpt-4-0314	Snapshot of gpt-4 from March 14th 2023. Unlike gpt-4, this model will not receive updates, and will only be supported for a three month period ending on June 14th 2023.	8,192 tokens	Up to Sep 2021
gpt-4-32k	Same capabilities as the base gpt-4 mode but with 4x the context length. Will be updated with our latest model iteration.	32,768 tokens	Up to Sep 2021
gpt-4-32k-0314	Snapshot of gpt-4-32 from March 14th 2023. Unlike gpt-4-32k, this model will not receive updates, and will only be supported for a three month period ending on June 14th 2023.	32,768 tokens	Up to Sep 2021

For many basic tasks, the difference between GPT-4 and GPT-3.5 models is not significant. However, in more complex reasoning situations, GPT-4 is much more capable than any of our previous models.

https://platform.openai.com/docs/models/gpt-4

MAX TOKENSが大幅に増加しています。トレーニングデータは2021年9月までのデータということなので、GPT-３.5と同等ということでしょう。

GPT-4の公式ページを見ると、どのように性能が上がったかが説明されています。「より長い文章」「画像」を入力として受け入れることができ、より複雑な問題を解決することができる様になったといいます。

私が一番気になっていることが、「Safety & alignment」です。

We spent 6 months making GPT-4 safer and more aligned. GPT-4 is 82% less likely to respond to requests for disallowed content and 40% more likely to produce factual responses than GPT-3.5 on our internal evaluations.

私たちは GPT-4 をより安全でより整合性のあるものにするために 6 か月を費やしました。内部評価によると、GPT-4 は許可されていないコンテンツのリクエストに応答する可能性が 82% 低く、事実に基づく応答を生成する可能性が 40% 高くなります。

https://openai.com/product/gpt-4

ChatGPTではその回答の正確性や安全性に問題があると指摘されていました。これは不特定多数の人に使ってもらう事を想定すると致命的です。専門家が補助的に使うのであれば、間違いが含まれる可能性を許容できることもありますが、一般の方々に使ってもらうときには、怖くて使えません。

もちろんGPT−4もこれらの問題がなくなったわけではありませんが、少しづつ改善されていけば、いつか、”GPT-X”では、許容可能なレベルになることが期待できると思っています。

ChatGPTユーザから送信されたフィードバックもGPT-4の改善に使われているとのことですから、爆発的に増えたChatGPTユーザも改善に貢献しているということになります。

もう一つ、面白いと思ったのは、GPT-4が自身のファインチューニング用のトレーニングデータを生成する助けをしているということです。どのくらい人間の関与があるのか、具体的なことはわかりませんが、安全性に関して自己学習ができるというのは、疑似的な倫理観があるように思えて、面白いものです。

例えば、人間だって生まれながらに倫理観を持っているわけではなく、社会生活の中でフィードバックを得ながら、倫理観を養っていくものだと思います。そう考えると、生まれたてのAIに完全な倫理観を求めるのではなく、フィードバックを与え続けることが大事なのかもしれません。

コスト

GPT-4のコストは、以下のようになっていました。

PromptとCompletionとで異なっている様です。8K contextの場合で、GPT-3のdavinciの2-〜3倍程度、ChatGPTの20倍〜30倍程度になると推測します。

ChatGPT plus

ChatGPT plusは月額＄20の有料サービスです。現時点でGPT−4を試すためには、このサービスにアップグレードする必要があります。

アップグレードすると、ChatGPTの画面は以下の様になり、GPT-4がモデルとして選択できます。

試してみた感想を一言で言うと、より「対話的」になった感じがします。

まず、第一に、余計なことをあまり言わなくなりました。

例えば、「何ができるの？」に対して、GPT-３.5では、

私は、さまざまなタスクや質問に対して答えを提供することができます。具体的には、以下のようなことができます：

1. 自然言語での対話：ユーザーが自然言語で質問や会話をすると、適切な返答を生成することができます。
2. 質問に答える：あなたが持つ質問に対して、最善の答えを提供することができます。このプロセスは、情報検索、知識ベース、または機械学習の技術を用いて行われます。
3. テキスト生成：要約、翻訳、文章生成など、様々な形式のテキスト生成を行うことができます。
4. 情報抽出：文章から情報を抽出することができます。例えば、文章から特定の人物名、地名、日付、数字などを抽出することができます。
5. 画像や音声の処理：画像認識、音声認識などの技術を用いて、画像や音声の処理を行うことができます。

これらは私ができることの一部ですが、私の能力は常に向上しているため、新しい機能が追加されることもあります。

一方、GPT-4では、以下の様に答えます。

私はAIで、様々なことができます。以下は私ができるいくつかのタスクです。

1. 質問に答える
2. 情報を検索する
3. アドバイスを提供する
4. 言語の翻訳
5. 文章や小説の執筆を手伝う
6. プログラミングの助け
7. ゲームやパズルの解決
8. レシピや料理の提案
9. ショッピングリストの作成

など、多岐にわたる情報やサポートを提供することができます。どのような質問や依頼がありますか？

どうでしょうか？GPT-4の方がエージェントとしては自然な感じがしませんでしょうか？

次に、インタラクティブな会話をするために「会話はもっと短くしてほしいです。」とお願いすると、GPT-4では、その後の会話では全て数行に収まる様に回答をしてくれました。

これが、GPT-3.5の時には、うまくできなかったことです。「簡潔に」、「会話を楽しみたい」とか「アドバイスはいらない」とか、色々試してみましたが、GPT-3.5の回答は長いので、通常の会話を想定すると、「鬱陶しい」と感じることがありました。

例えば、「自宅で作れる、おすすめのイタリア料理のメニューはありますか？」と訊ねると、GPT-３.5では、

はい、いくつかおすすめのイタリア料理を紹介します。自宅でも手軽に作れるものが多いですので、ぜひお試しください。

1. スパゲッティ・アッラ・カルボナーラ（スパゲッティのベーコンクリームソース）：スパゲッティ、ベーコン、卵黄、パルメザンチーズ、生クリームを使用したクリーミーなパスタ料理です。
2. カプレーゼサラダ（トマトとモッツァレラチーズのサラダ）：新鮮なトマトとモッツァレラチーズを交互に並べて、バジル、オリーブオイル、バルサミコ酢で味付けしたシンプルなサラダです。
3. ミートボール（肉団子）：挽肉、パン粉、卵、パルメザンチーズ、ハーブ、トマトソースを混ぜて焼いた、イタリアの代表的な肉料理です。
4. ピッツァ・マルゲリータ（マルゲリータピザ）：トマトソース、モッツァレラチーズ、バジルをのせた、シンプルでクラシックなピザです。生地を手作りするのも良いですが、市販のピザ生地でも手軽に作ることができます。
5. ティラミス：マスカルポーネチーズ、卵、砂糖、エスプレッソ、カカオパウダーを使用した、コクのあるイタリアンスイーツです。

以上が、手軽に自宅で作ることができるおすすめのイタリア料理のメニューです。

となりますが、GPT-4では、

はい、自宅で作れるおすすめのイタリア料理は「スパゲッティ・カルボナーラ」です。簡単で美味しい一品です。

となります。この方が、「他にはある？」とか「レシピを教えて」とか、会話が弾むんじゃないかと私は思います。

最後に、人の気持ちに寄り添った回答ができる様になった気が（少し）します。

例えば、「癌」などの病気の話をした後に、「最後に美味しいものが食べたい」というと、GPT-3.5はお寿司やピザをすすめてくれるのですが、GPT-4では以下の様に答えました。

美味しい食事は気分を良くすることがあります。好きな料理や特別な思い出のある料理を選んでみてください。家族や友人と一緒に食事を楽しむことも大切です。

ちなみに、トレーニングデータはどちらも2021年9月までのものなので、「GPT-4とGPT-3の違いは何？」とGPT-4に訊いても、「私はGPT-3（ChatGPT）ですが、GPT-4については具体的な情報がありません。」とこたえます。自分自身の変化には気づいていない様です。