画像に「毒」を盛り、画像生成AIのスクレイピングに対抗するツールを開発–シカゴ大

今回は「画像に「毒」を盛り、画像生成AIのスクレイピングに対抗するツールを開発–シカゴ大」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成型の人工知能(AI)モデルに関連する大きな問題の1つに、AIによるスクレイピングがある。AIスクレイピングとは、AI企業が自社のAIモデルを訓練するという名目で、インターネット上のデータを所有者の許可を得ずに取得するという行為だ。

 AIスクレイピングは、視覚に訴えかけるアーティストに対して特に大きな影響を与える可能性がある。というのも、テキストプロンプトから画像を生成するモデルが新たな作品を生み出すために、こうしたアーティストの作品を無許可で使用しているためだ。しかし今回、そのソリューションになるかもしれないツールが開発された。

 シカゴ大学の研究者らは、アーティストが自らのデジタルアート作品に「毒」を仕込んでおくことで、AIツールの開発者がこういったアート作品をモデルの訓練で使用できないようにする「Nightshade」という新たなツールを開発した。

 この研究に関する独占取材を許されたMIT Technology Reviewによると、アーティストはNightshadeを用いることで、自らの作品中のピクセルに対して、人間の目には見えないものの、生成型AIモデルが「無秩序」かつ「予測不能」なかたちで破綻するような変更を加えられるようになるという。

 こうしたプロンプト対象型攻撃は、生成型AIのモデル学習プロセスに影響を与え、モデルが個々の学習対象を混乱するよう仕向けることで、役に立たない結果を描画させるというものだ。

 例を挙げると、犬のことを実際には猫だと学習させ、その結果としてテキストプロンプトとは一致しない誤った画像をモデルに生成させることができるようになる。

 今回の研究論文によると、Nightshadeの毒サンプルは100サンプル未満で「Stable Diffusion」を破綻させることができたという。

 さらに、毒の効果は対象の言葉だけに終わらず、関連する言葉にも及ぶ。例えば、「dog」(犬)という言葉が影響を受けるだけではなく、「puppy」(子犬)や「hound」(ハウンド)、「husky」(ハスキー)といった類義語も影響を受ける。

 言葉の間の関係は、上記の例で示されているほど直接的である必要はない。例えば論文では、「fantasy art」(ファンタジーアート)という言葉に毒を仕込んだ際に、「a painting by Michael Whelan」(Michael Whelan氏[ファンタジーアート分野で有名なクリエイター]の絵画」という言葉にも毒の及ぶ過程が説明されている。

 モデルを訓練する側は、ロス(無駄)の多いデータのフィルタリングや、位置検出、毒の除去といった方法でこの攻撃を回避できる可能性があるものの、これら全ては完全に有効な防御策とはならない。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
公道で走れる最大時速45kmの電動キックボード 乗って分かった魅力と課題 (1/3 ページ)
くわしく
2021-06-20 11:39
湘南ベルマーレが国内初のプロサッカークラブトークン発行、クラブファンディング開始
ブロックチェーン
2021-01-28 04:44
データガバナンスを確保したエンタープライズ規模の機械学習を実現するには
IT関連
2023-01-13 06:46
AIプロンプトエンジニアに必要な6つのスキルとは
IT関連
2023-07-11 05:31
三井住友銀行、日本IBMらと温室効果ガス排出量の可視化サービスを提供
IT関連
2022-08-12 18:12
LayerX、「バクラクビジネスカード」に機能追加–カード利用者の申請手続きを容易に
IT関連
2023-06-08 19:22
みずほ銀、システム障害で謝罪 原因はデータ移行作業や月末処理による過負荷
企業・業界動向
2021-03-02 18:44
サイオス、2023年度はSaaS事業への投資を継続–DX目的に活用機運高まる
IT関連
2022-12-09 04:24
日刊工業新聞社、共通ID基盤導入–パーソナライズされた情報提供図る
IT関連
2023-04-25 00:22
「KDE Plasma」の「場所」を利用してデスクトップの効率性を高めるには
IT関連
2023-05-12 12:11
DeepL、文書翻訳機能をアップデート–「Excel」への対応やファイルサイズの拡大
IT関連
2023-11-08 14:31
ビックカメラがAWSやSalesforceなど採用–「DX宣言」で良質な顧客体験を創出
IT関連
2022-06-15 10:35
第15回:5Gはまだ早い?–アナリストから見たCIOやIT部門のデジタル戦略
IT関連
2021-03-05 10:08
グーグル、生成AIを実行するウェブアプリを「Google I/O」で実演へ
IT関連
2023-05-11 14:53