Cloudflare、AIスクレイピングを防ぐ無料ツールを提供

今回は「Cloudflare、AIスクレイピングを防ぐ無料ツールを提供」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 人工知能(AI)のトレーニングのためにAIボットがウェブサイトのコンテンツをスクレイピングするのが心配なら、Cloudflareがその対策に役立つ。

 ウェブの約20%でプロクシとして利用されていると主張するCloudflareは、すべてのAIボットがサイトのテキストをスクレイピングするのを防ぐ新しいツールを導入した。同社によると、無料でサービスを利用している顧客も含め、すべての顧客にこのツールを提供するという。

 生成AIの台頭により、企業はチャットボットをトレーニングするためのコンテンツを必要としている。多くの企業は、(「ChatGPT」が「Reddit」への投稿を利用してやっているように)分析用にサイトからテキストを抽出するウェブスクレイピングツールを利用している。ウェブスクレイピングボットについて隠し立てせず正直な企業もあれば、そうではない企業もある。

 Cloudflareは2023年9月、許可なしにサイトをスクレイピングする「悪質な」AIのウェブクローラーをユーザーがブロックできる機能をリリースした。当然ながら、一部の企業は、信用できるスクレイピングツールを装ったスクレイピングツールを用意して、ブロックを回避した。そのため、今回の新しいツールは、スクレイピングの適切なプロトコルに従うものも含め、すべてのAIクローラーをブロックする。

 2024年6月には、Cloudflareを利用している上位100万件の「インターネット資産」のうち約39%にAIボットがアクセスしていた、と同社は述べている。それらの資産のうち、AIボットをブロックする措置をとっていたのは3%未満だった。同社によると、サイトをスクレイピングしていた上位4つのボットは「Bytespider」「Amazonbot」「ClaudeBot」「GPTBot」だったという。

 「TikTok」の運営元である字節跳動(バイトダンス)が保有するBytespiderは、ChatGPTと競合する「Doubao」など、大規模言語モデル用のトレーニングデータを収集するのに利用されている。Amazonbotは「Alexa」の質問回答機能、ClaudeBotはチャットAIの「Claude」、GPTBotはChatGPTのトレーニングにそれぞれ利用されている。

 Cloudflareのユーザーであれば、このツールは簡単に利用できる。ダッシュボードの設定セクションに進んでから「Security」>「Bots」をクリックすると、「AI Scrapers and Crawlers」というトグルボタンが表示される。このトグルボタンをオンにすれば、AIボットはもうコンテンツにアクセスできなくなる。

 もちろん、AIボットは絶えず進化している。Cloudflareによると、この機能は有害なボットの「フィンガープリント」を検知するため、やはり自動的に進化するという。

 新ツールは米国時間7月5日からすべてのCloudflareユーザーを対象に提供されている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
米国の中小起業や地方自治体にも中国ハッカーによるゼロデイ攻撃の被害
セキュリティ
2021-03-16 05:20
プロダクトバックログDeep Dive。スクラムのプロダクトバックログをどう作成し、手入れし、スプリントに投入するべきか(中編)。Regional Scrum Gathering Tokyo 2022
DevOps / アジャイル開発
2022-01-11 23:21
オックスフォード大の新型コロナ関連の研究を行う施設にサイバー攻撃
IT関連
2021-03-01 19:34
任天堂「ゼルダの伝説 BoW」続編は2022年発売、ゼルダのゲーム&ウォッチも登場、新作「メトロイド」も
ゲーム / eSports
2021-06-17 04:56
奇祭Burning Manがバーチャルフェスのチケット販売開始、2021年も砂漠での開催は中止
イベント情報
2021-05-16 21:11
カスペルスキー、中高生向けのセキュリティ教材を無償公開 フィッシングや2要素認証の仕組みを解説
企業・業界動向
2021-06-17 18:28
イーサリアム互換ブロックチェーン構築クラウドなどを手がけるG.U.テクノロジーズがプレシリーズAで2.6億円の追加調達
IT関連
2022-03-09 05:25
無料で使えて当たり前?–MLB大規模球場で提供されるWi-Fiサービスの裏側
IT関連
2024-09-06 04:57
アカマイ社長が予見する「これからのセキュリティの鍵は“エッジ”にあり」
IT関連
2021-08-06 15:10
“アバター化”したコンシェルジュがリモートで観光案内 9月まで都庁内などで実証実験
DX
2021-06-15 01:08
日本酒ECの酒ストリートと菊の司酒造が共同開発した醸造アルコール添加工程を体験できる酒セット販売、エシカル・スピリッツCTOの山口氏監修
IT関連
2022-02-15 11:13
Zoom、「iPad Pro」のセンターフレーム機能に正式対応
IT関連
2021-05-28 01:09
三流プログラマがなぜ米マイクロソフトの開発者になれたのか? ガチ三流プログラマが超巨大クラウドの中の人に転生した話。Regional Scrum Gathering Tokyo 2022
Microsoft
2022-01-17 11:18
Crypto.comのCEOが数百の顧客アカウントがハッキングされたことを認める
IT関連
2022-01-21 20:26