「ChatGPT」の精度を劣化させる「ドリフト」現象–米研究チームが検証

今回は「「ChatGPT」の精度を劣化させる「ドリフト」現象–米研究チームが検証」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 「ChatGPT」を使っていて実際にそう感じたり、あるいはそのような記事を読んだりした人もいるだろう。ChatGPTの精度が劣化しているのではないかという、あのうわさは本当だったようだ。

 この現象はいささか不可解に感じられる。なぜなら、生成人工知能(AI)モデルはユーザーからの入力を利用して自らを訓練し続けるため、時間とともにより多くの入力が蓄積されるほど賢くなるはずだからだ。

 その謎の答えは、「ドリフト」と呼ばれる概念にあるかもしれない。

 「ドリフト」とは、大規模言語モデル(LLM)が予期しない、あるいは予測不可能な振る舞いをし、元のパラメーターから逸脱してしまうことだ。こうした現象は、複雑なAIモデルの一部を改善しようとした結果、他の部分の性能が低下することで発生する可能性がある。

 カリフォルニア大学バークレー校とスタンフォード大学の研究チームが、ドリフト現象を検証するための研究で、広く用いられているLLM「GPT-3.5」(ChatGPTの基盤)と「GPT-4」(新しい「Bing」と「ChatGPT Plus」の基盤)の経時的変化を調査した。

 この研究では、両LLMの能力を、それぞれ2023年3月と6月のバージョンで比較した。比較したのは、数学の問題を解く能力、デリケートな質問に答える能力、意識調査に答える能力、知識を要するマルチホップ型の質問(複数のソースから情報をまとめなくてはならない質問)に答える能力、コード生成能力、米国医師免許試験の回答、および視覚的推論タスクの能力だ。

 その結果、多くのタスクでGPT-4の3月バージョンが6月バージョンを上回った。最も顕著な差が出たのは基本的な数学のプロンプトで、例題(a)と(b)の両方で3月バージョンが6月バージョンを上回った。

 また、デリケートな質問への回答、コードの生成、医師免許試験の成績、意識調査への回答でも、3月の方が高成績だった。これらはすべてドリフト現象によるものと考えられる。

 GPT-3.5一方GPT-3.5では、多くのタスクで6月のバージョンが3月のバージョンを上回った。

 今回の研究に参加したJames Zou氏は、「(ドリフトが)起こるのではないかと疑ってはいたが、これほど速いペースでドリフトが発生していることは大きな驚きだった」とThe Wall Street Journal(WSJ)に語った。

 ただし、GPT-4とGPT-3.5のいずれも、6月の方が改善されていたタスクもあった。そのため研究者らは、LLMを使い続けるよう推奨しつつ、使用する際には注意を払い、常に検証する必要があるとしている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
マイクロソフト、「セキュリティデフォルト」の展開を拡大
IT関連
2022-05-31 15:53
Redditの多くの掲示板で抗議のブラックアウト、API有料化で
IT関連
2023-06-15 05:11
退職を考えているエンジニアが最初に検討すべき3つのこと
IT関連
2022-08-03 06:54
「Outlook」で障害 本文表示されず Web版は正常→復旧
セキュリティ
2021-05-13 18:47
米国株は調整モードを抜け出るか?–マクロ金利見通しで占う投資戦略
IT関連
2021-06-26 17:28
UiPathとRobo Co-op、デジタルワーカー育成と就労支援の推進で協業
IT関連
2024-03-02 12:14
国内データセンター延床面積は年6.7%増加見込み– IDC Japan
IT関連
2021-05-13 00:26
中国のAI産業に振り回される貧困地域のマザーワーカーのリアル
IT関連
2024-06-13 08:55
トレンドマイクロ、統合セキュリティプラットフォームのXDR機能をOT環境に拡張
IT関連
2023-07-06 05:18
TikTok、日本語と英語の「自動字幕起こし機能」を追加
アプリ・Web
2021-04-08 16:42
「Google認証システム」、コードをGoogleアカウントに保存可能に
IT関連
2023-04-26 16:39
サイバー攻撃「標的型」に 巧妙な手口で防御困難に 東京五輪での被害も懸念
IT関連
2021-05-19 19:08
「クラウド型電子署名サービス協議会」が一般社団法人化
IT関連
2022-10-25 01:42
「Windows 11」のAndroidアプリ対応、2月にパブリックプレビューへ
IT関連
2022-01-28 09:55