「ChatGPT」の精度を劣化させる「ドリフト」現象–米研究チームが検証

今回は「「ChatGPT」の精度を劣化させる「ドリフト」現象–米研究チームが検証」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 「ChatGPT」を使っていて実際にそう感じたり、あるいはそのような記事を読んだりした人もいるだろう。ChatGPTの精度が劣化しているのではないかという、あのうわさは本当だったようだ。

 この現象はいささか不可解に感じられる。なぜなら、生成人工知能(AI)モデルはユーザーからの入力を利用して自らを訓練し続けるため、時間とともにより多くの入力が蓄積されるほど賢くなるはずだからだ。

 その謎の答えは、「ドリフト」と呼ばれる概念にあるかもしれない。

 「ドリフト」とは、大規模言語モデル(LLM)が予期しない、あるいは予測不可能な振る舞いをし、元のパラメーターから逸脱してしまうことだ。こうした現象は、複雑なAIモデルの一部を改善しようとした結果、他の部分の性能が低下することで発生する可能性がある。

 カリフォルニア大学バークレー校とスタンフォード大学の研究チームが、ドリフト現象を検証するための研究で、広く用いられているLLM「GPT-3.5」(ChatGPTの基盤)と「GPT-4」(新しい「Bing」と「ChatGPT Plus」の基盤)の経時的変化を調査した。

 この研究では、両LLMの能力を、それぞれ2023年3月と6月のバージョンで比較した。比較したのは、数学の問題を解く能力、デリケートな質問に答える能力、意識調査に答える能力、知識を要するマルチホップ型の質問(複数のソースから情報をまとめなくてはならない質問)に答える能力、コード生成能力、米国医師免許試験の回答、および視覚的推論タスクの能力だ。

 その結果、多くのタスクでGPT-4の3月バージョンが6月バージョンを上回った。最も顕著な差が出たのは基本的な数学のプロンプトで、例題(a)と(b)の両方で3月バージョンが6月バージョンを上回った。

 また、デリケートな質問への回答、コードの生成、医師免許試験の成績、意識調査への回答でも、3月の方が高成績だった。これらはすべてドリフト現象によるものと考えられる。

 GPT-3.5一方GPT-3.5では、多くのタスクで6月のバージョンが3月のバージョンを上回った。

 今回の研究に参加したJames Zou氏は、「(ドリフトが)起こるのではないかと疑ってはいたが、これほど速いペースでドリフトが発生していることは大きな驚きだった」とThe Wall Street Journal(WSJ)に語った。

 ただし、GPT-4とGPT-3.5のいずれも、6月の方が改善されていたタスクもあった。そのため研究者らは、LLMを使い続けるよう推奨しつつ、使用する際には注意を払い、常に検証する必要があるとしている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
ランサムウェアの脅威は去らず–深刻な被害を生む新たな攻撃手法
IT関連
2022-07-26 20:15
セブン銀行、サービスナウの人事管理サービス採用–業務効率化と働き方の変革へ
IT関連
2024-12-04 07:03
北朝鮮を後ろ盾とするハッカーがブロックチェーン企業など狙う–FBIらが注意喚起
IT関連
2022-04-23 22:24
「ヤフトピ」見出し、最大13.5→14.5文字に 20年ぶりに変更
企業・業界動向
2021-04-15 18:42
Ideinと清水建設、スマートビル普及に向け協業–建物OSと「Actcast」を連携
IT関連
2024-07-21 05:16
Google、ChromeOSからChromeを分離する新アーキテクチャ「LaCrOS」を年内に開始、Chromeは独立したアプリに
Chrome
2023-09-06 04:40
エン・ジャパン、求人サイトにオブザーバビリティを導入
IT関連
2024-03-07 09:25
多摩都市モノレール、IoTカメラソリューションを導入–既存の蛍光灯と取換可能
IT関連
2022-10-30 18:35
マイクロソフトの新AI機能を体験、仕事に使いたいトップ5を紹介
IT関連
2023-09-29 01:28
セキュリティ対策の変遷と脅威検知・対応の位置付け
IT関連
2023-10-04 22:19
NTTデータグループ、2024年度上期は増収増益–クラウドDCや生成AIで進展
IT関連
2024-11-08 04:26
Denoが新フレームワーク「Fresh 1.0」リリース。Just-in-timeレンダリングやランタイムオーバヘッドゼロなどの特徴がもたらす優位性とは?
Deno
2022-07-04 09:12
脅威に脆弱な資産の可視化が急務に–日本の事業展開を加速するArmis
IT関連
2023-01-20 01:43
マイクロソフト、サポート対象PCに「Windows 11 24H2」の自動インストールを開始
IT関連
2025-01-23 03:35