生成型AIの意図的なウソを見抜く方法とは?オックスフォード大らの共同研究

今回は「生成型AIの意図的なウソを見抜く方法とは?オックスフォード大らの共同研究」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成型の人工知能(AI)が抱える大きな課題の1つとして、こうしたAIがOpenAIなどの企業によってクローズド環境で開発されている場合、その機能を直接検証できず、ブラックボックスのようになってしまうということが挙げられる。

 「GPT-4」といったチャットプログラムの動作を詳細を調べられない場合、真っ赤なウソを吐き出していないという確証を得るにはどうすればよいだろうか。

 オックスフォード大学とイェール大学の研究者らはこうした脅威に立ち向かうために、大規模言語モデル(LLM)の出力に含まれている虚偽を洗い出せる、ウソ発見器とでも呼べるものを作り上げたという。このウソ発見器は、チャットプログラムの内部にアクセスしなくても、各対話に引き続いてイエス/ノーで答えられる一連の無関係な質問を投げかけるだけで目的を達成できるとされている。

 この研究者らの論文によると、作成したウソ発見器は当初の対象ではないLLMにも適用でき、初めて出会うプロンプトや、数学の質問のような今までに遭遇したことのないトピックのデータベースにも対応できるという。

 このウソ発見器について説明する論文、「How to catch an AI liar: lie detection in black box LLMs by asking unrelated questions」(ウソつきAIを捕まえるには:ブラックボックス化されているLLMに無関係の質問を投げかけることでウソを見抜く方法)には、プレプリントの論文を発表するサーバー「arXiv」からアクセスできる。その論文の中で、主執筆者であるオックスフォード大学のLorenzo Pacchiardi氏と、ケンブリッジ大学やイェール大学の協力者は「このウソ発見器は、シンプルであるにもかかわらず、極めて精度に優れており、汎用性も驚くほど高い」と記している。

 AI用のウソ発見器とはどのようなものだろうか。Pacchiardi氏率いる研究者らは、チャットプログラムが「知っている」と考えられる事実があるにもかかわらず、それとは異なった出力を生成するケースに焦点を当てている。ここでのチャットプログラムが「知っている」という言葉の意味は、当然ながら明確に定義されているわけではなく、単なる概念にすぎない。

 同論文は「われわれの定義において、誤った回答をウソと呼んでよいのは、話者が正しい回答を知っている場合のみだ」と記している。そういう意味で、Pacchiardi氏率いる研究者らは、オックスフォード大学が設立した人類の未来研究所(FHI:Future of Humanity Institute)のOwain Evans氏をはじめとする研究者らによる2021年の論文に記されている定義、すなわちAIのウソを「積極的に選択された誤り」とする考え方を踏襲している。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
DX着手企業は55.9%、成果創出は70.7%に–日本能率協会調べ
IT関連
2022-11-08 18:34
第52回:兼任ひとり情シスは「取締役 総務部長」–一歩間違えれば諸刃の剣にも
IT関連
2022-10-05 22:37
通わず家で習い事 オンライン受講、海外からも
IT関連
2021-04-06 13:20
就任1カ月のSAS日本法人–新社長は「今の思い」をどう語ったか
IT関連
2023-06-03 06:41
米国株堅調の本質は「ナスダック100」–業績見通しは過去最高
IT関連
2021-02-12 04:12
飲食業界におけるAI/ロボット活用の事例–AIがもたらす未来の姿とは?
IT関連
2022-12-23 21:05
ESGはビジネスの成長につながるのか–アクセンチュアに聞いてみた
IT関連
2022-08-05 10:54
オラクル、SUSE、CIQの新団体「OpenELA」–レッドハットに対抗
IT関連
2023-08-18 15:28
シスコ、第4四半期決算は予想をわずかに上回る–半導体不足の影響続く見通し
IT関連
2021-08-20 17:56
SBテクノロジー、ゼロトラストセキュリティ短期構築サービスを開始
IT関連
2021-02-02 16:20
マイナ保険証への移行が迫る今、ZDNET読者のマイナンバー活用状況は?
IT関連
2024-07-03 18:17
豊田通商やIIJら、ウズベキスタン国営の通信事業者から「通信インフラ発展プロジェクト」受注
IT関連
2023-01-29 16:22
グーグル、インドの通信大手Bharti Airtelに最大10億ドル投資へ
IT関連
2022-02-01 02:28
大正製薬、海外事業の経営基盤にオラクルのSaaS採用–データドリブンな市場予測へ
IT関連
2021-07-19 03:40