前回はこちら

前回「Mr.ChatGPTとの対話形式でのディスカッションを継続していくこと。そのことによって、全世界の人々により正確で信頼性のある妥当な医学情報が提供できることになる。」と書きましたが、ほんとうにそれが実現できるのかどうかについては、より確かな裏付けが必要かもしれません。

そのためには、まず、Mr.ChatGPTの判断と回答のベースとなる訓練データについて、より詳細に理解する必要があるのではないでしょうか？

そこで、今回は<質問10＞から<質問12＞に至る３つのインタヴューを試みました。

Mr.ChatGPTは、かなりの自信家であり、その発言は、かなり大風呂敷な傾向があり、言い過ぎも目立ち、誤解を招きやすい側面もあるようです。

私たちは、より慎重に質問し、なおかつ、その回答を鵜呑みにすることがないよう心がけるべきでしょう。

そして、回答に少しでも不明点や疑問点、矛盾点を発見したら、放置せずに確認することが必要になってきます。

質問や確認や誤りを指摘しない相手に対しては、結果的に無責任で一方的な回答を寄越してくる性質がうかがわれます。

ただし、一つの質問に対して、しばしば、２つの回答が出されることがあります。

次の<質問10＞はその一例です。

＜質問10＞
私たちの質問に対するあなたの回答は、あなたの訓練データに基づいているとのことですが、あなたの訓練データとはどのようなものなのか概要を説明してください。

ChatGPT＜回答１＞
私は、OpenAIによって開発されたGPT-3.5と呼ばれる自然言語処理モデルです。

私の訓練データは、様々なウェブサイト、書籍、論文、ニュース記事、ウィキペディアのようなテキストデータから収集されました。これらのデータは、幅広いトピックや文脈にわたるもので、一般的な知識や情報に基づいています。

私は教師なし学習アルゴリズムを使用して訓練されており、文脈からパターンを学んで質問に対する回答を生成します。

ただし、私の訓練データのカットオフは2022年であり、それ以降の出来事や情報については知識を持っていません。

また、プライバシーやセキュリティの理由から、具体的な訓練データの詳細や特定の情報源については提供されていません。

訓練データは大規模かつ多様なものであり、一般的な知識と言語パターンを学習するために使用されました。

ChatGPT＜回答２＞

私は、OpenAIによって開発されたGPT-3.5と呼ばれる自然言語処理モデルです。

私の訓練データは、様々なウェブサイト、書籍、論文、ニュース記事、ウィキペディアのようなテキストデータから収集されました。これらのデータは、幅広いトピックや文脈にわたるもので、一般的な知識や情報に基づいています。

私は教師なし学習アルゴリズムを使用して訓練されており、文脈からパターンを学んで質問に対する回答を生成します。ただし、私の訓練データのカットオフは2022年であり、それ以降の出来事や情報については知識を持っていません。

また、プライバシーやセキュリティの理由から、具体的な訓練データの詳細や特定の情報源については提供されていません。訓練データは大規模かつ多様なものであり、一般的な知識と言語パターンを学習するために使用されました。

飯嶋医師のコメント：

まず＜回答１＞のキーワードとして以下の3つを挙げておきます。

１）OpenAI
２）自然言語処理モデル
３）GPT-3.5

また、しばしば用いられる注目すべきキーフレーズとして以下の２つに注目したいです。

１）「私の訓練データのカットオフは2022年であり、それ以降の出来事や情報については知識を持っていません。

２）「プライバシーやセキュリティの理由から、具体的な訓練データの詳細や特定の情報源については提供されていません。

ついで＜回答２＞から得られた情報検索の鍵として、＜回答１＞との重複はありますが、以下の様に列記してみました。

１）「教師なし学習アルゴリズム」とは？
２）「文脈からパターンを学習」その具体的方法は？
３）「訓練データのカットオフ」の更新手続き
４）「情報源に対するプライバシーとセキュリティ」の定義
５）「一般的な知識」の定義
６）「言語パターン」の定義

ここで、挙げたキーワードやキーフレーズは、今後の対話を続けていくうえで、貴重なヒントを提供してくれることになるでしょう。これを、さっそく次の質問で活かしてみることにしました。

＜質問11＞
あなたは過去の対話から学習し、ユーザーからのフィードバックを通じて情報を修正・向上させることができるとのことですが、どのようにして情報を修正・向上させているのか、そのシステムの概要について教えてください。

ChatGPT
私の訓練データは2022年までのものであり、その後の新しい情報や出来事については学習していません。しかし、OpenAIは定期的に新しいバージョンのモデルを開発し、それらのバージョンでは過去の対話やユーザーからのフィードバックを活用して情報を修正・向上させています。

OpenAIの研究者やエンジニアは、ユーザーからのフィードバックを収集し、モデルの弱点や改善点を特定するための分析を行います。また、誤った情報を修正するために、新しいトピックや出来事に関するデータを収集し、モデルを再訓練することがあります。このようなプロセスを通じて、ユーザーのニーズに応じてモデルの性能を向上させる努力がなされています。

ただし、モデルの訓練には時間と計算リソースがかかるため、リアルタイムでの情報修正はできません。そのため、最新の情報については信頼性のある情報源や専門家の意見を確認することが重要です。

飯嶋医師のコメント：

過去の対話やユーザーからのフィードバックを活用して情報を修正・向上させている、ということと、ユーザーからのフィードバックを収集し、モデルの弱点や改善点を特定するための分析を行っているのが、OpenAIの研究者やエンジニア、という回答を得ました。

この回答から、私はただちに以下の４つの妥当性に関する疑問をいだきました。

１）OpenAIの研究者やエンジニアの素性
２）ユーザーからのフィードバック収集方法
３）モデルの弱点や改善点を特定するための分析法
４）モデルの再訓練法

そこで、次の質問を投げかけてみました。

＜質問12＞
あなたは情報の修正・向上のために、定期的な更新サイクルに基づいて行っているとのことですが、更新サイクルの期間について教えてください。

ChatGPT
私の具体的な更新サイクルについては、OpenAIの公式情報には明示されていません。また、私は個別のユーザーからのフィードバックや対話から学習することはできません。OpenAIは新しいモデルや改善されたバージョンを開発する際に、研究者やエンジニアが最新の技術や情報を取り入れ、ユーザーフィードバックを参考にしながら性能を向上させる努力を続けています。

OpenAIは、継続的に研究開発を行っており、新しいバージョンのモデルがリリースされる際には、以前のバージョンよりも性能が向上しているとされることが一般的です。　　しかし、具体的な更新サイクルの期間やスケジュールについては公に発表されていないため、詳細な情報は提供できません。

飯嶋医師のコメント：

皆様、いかがお感じになったでしょうか？

今回の回答の面白いところは、私の質問に対しての直接の回答よりも、関連して提供された情報が興味深いです。ただし、以下の回答については、私を含め多くの利用者を落胆させたのではないでしょうか？そもそも、私たちの自然な期待を裏切り、実質的に前言を撤回するに近い印象さえ受けてしまうからです。

＜私は個別のユーザーからのフィードバックや対話から学習することはできません。＞
ただし、それにもかかわらず、＜ユーザーフィードバックを参考にしながら性能を向上させる努力を続けています＞と回答していますが、論理のギャップを感じないでしょうか。

キーワードとして、

１）OpenAIの公式情報

２）学習方法

３）フィードバック

などを挙げることができます。

そして、開発者である研究者やエンジニアは、どのような指針に基づいて性能を向上させているのかについてが、極めて大切なポイントになってくるのではないでしょうか？

こうした研究者やエンジニアは、何を基準にして、ユーザーフィードバックにより得られた情報を取捨選択しているのか？

上方の取捨選択に対して、バイアス（偏り）が生じる可能性があることは指摘しておかなければならないと思います。そして、その偏りは、いわゆるスポンサーの意向による影響力を排除できる仕組みになっているのかどうか、という問題提起に繋がっていきます。

端的に言ってしまえば、サービス提供者の目的の一つとして、利益誘導、の可能性については慎重に検討すべきではないか、と考えます。