富士通、対話型生成AIの幻覚やAIをだます攻撃に対処する新技術を開発

今回は「富士通、対話型生成AIの幻覚やAIをだます攻撃に対処する新技術を開発」についてご紹介します。

関連ワード （ビッグデータ等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　富士通は9月26日、「ChatGPT」をはじめとする対話型生成AIから出力される回答の信頼性を向上する新技術を発表した。国内の法人／個人向けに実証環境を順次提供し、グローバルにも順次展開する予定だ。

　現在、ChatGPTのように、大量のテキスト情報を学習し幅広いトピックで自然にやりとりできる対話型生成AIが注目を集め、多くの企業が業務適用に向けて検討を進めている。その一方で、高い対話品質やセキュリティ面での信頼性の確保が課題になっていると同社は説明する。

　富士通は今回、信頼できる対話型生成AIを実現する技術の第1弾として、「幻覚（ハルシネーション）検出技術」「フィッシングURL検出技術」を開発し、「Fujitsu Kozuchi（code name）- Fujitsu AI Platform」の対話型生成AIコアエンジンに搭載した。幻覚検出技術は9月28日、フィッシングURL検出技術は10月から国内向けに提供を開始する。個人の利用者は「Fujitsu Research Portal」上でアカウントを作成すればトライアルが可能になる。

　幻覚検出技術は、対話型生成AIがデータに基づかないもっともらしい誤りを回答してしまうハルシネーションを検出する技術で、対話型生成AIの回答文をAIが意味解析し、かつハルシネーションが生じやすい固有表現部分を特定して重点的に確認することで、既存手法よりも高精度に検出する。

　同社によると、対話型生成AIでは幻覚は固有名詞や数値などの固有表現の部分で生じやすく、質問のたびに回答内容が変化しやすい傾向を踏まえ、ハルシネーションが生じやすい箇所を特定して重点的に確認する技術を開発した。

　具体的には、回答文を主語、述語、目的語などに分解し、その中の固有表現部分を特定し、かつそこを空欄にして尋ねる穴埋め質問を自動で作成して外部の対話型生成AIに複数回質問することで、固有表現部分の回答のばらつきをより正確に捉え高精度な幻覚スコアの算出を実現するとしている。

　対話型生成AIは学習した情報に基づいて応答するため、攻撃者によって学習データに悪意のあるデータを混入させられると、利用者に有害な情報を提供してしまう問題がある。特に偽のウェブサイトに誘導するフィッシング攻撃は、さまざまなサイバー攻撃の初期手口として最も多く使用され、誤って偽のサイトにIDやパスワードなどの情報を入力すると企業全体の脅威にさらされる可能性がある。

　そこで富士通は、対話型生成AIの回答文に含まれるURL情報がフィッシングURLかどうかを判定して利用者に画面上で提示する技術を開発した。同技術は、フィッシングURLを特定するだけでなく、近年問題視されているAIの判断を故意に誤らせる既存の敵対的攻撃にも対応することで、信頼性の高い判定を実現しているという。

　イスラエルのネゲヴ・ベングリオン大学に設置された富士通スモールリサーチラボで共同開発した技術を活用しており、AIへの攻撃がそれぞれ個別のAIモデルに向けて特化しやすい傾向を利用し、複数の異なる種類のAIモデルで処理することで生じる判定根拠の違いから攻撃データを見分けている。対話型生成AIに限らず、帳票データを扱うAIに対する全般的な攻撃への対策にも活用が期待できるとしている。