Cloudflare、AIスクレイピングを防ぐ無料ツールを提供

今回は「Cloudflare、AIスクレイピングを防ぐ無料ツールを提供」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 人工知能(AI)のトレーニングのためにAIボットがウェブサイトのコンテンツをスクレイピングするのが心配なら、Cloudflareがその対策に役立つ。

 ウェブの約20%でプロクシとして利用されていると主張するCloudflareは、すべてのAIボットがサイトのテキストをスクレイピングするのを防ぐ新しいツールを導入した。同社によると、無料でサービスを利用している顧客も含め、すべての顧客にこのツールを提供するという。

 生成AIの台頭により、企業はチャットボットをトレーニングするためのコンテンツを必要としている。多くの企業は、(「ChatGPT」が「Reddit」への投稿を利用してやっているように)分析用にサイトからテキストを抽出するウェブスクレイピングツールを利用している。ウェブスクレイピングボットについて隠し立てせず正直な企業もあれば、そうではない企業もある。

 Cloudflareは2023年9月、許可なしにサイトをスクレイピングする「悪質な」AIのウェブクローラーをユーザーがブロックできる機能をリリースした。当然ながら、一部の企業は、信用できるスクレイピングツールを装ったスクレイピングツールを用意して、ブロックを回避した。そのため、今回の新しいツールは、スクレイピングの適切なプロトコルに従うものも含め、すべてのAIクローラーをブロックする。

 2024年6月には、Cloudflareを利用している上位100万件の「インターネット資産」のうち約39%にAIボットがアクセスしていた、と同社は述べている。それらの資産のうち、AIボットをブロックする措置をとっていたのは3%未満だった。同社によると、サイトをスクレイピングしていた上位4つのボットは「Bytespider」「Amazonbot」「ClaudeBot」「GPTBot」だったという。

 「TikTok」の運営元である字節跳動(バイトダンス)が保有するBytespiderは、ChatGPTと競合する「Doubao」など、大規模言語モデル用のトレーニングデータを収集するのに利用されている。Amazonbotは「Alexa」の質問回答機能、ClaudeBotはチャットAIの「Claude」、GPTBotはChatGPTのトレーニングにそれぞれ利用されている。

 Cloudflareのユーザーであれば、このツールは簡単に利用できる。ダッシュボードの設定セクションに進んでから「Security」>「Bots」をクリックすると、「AI Scrapers and Crawlers」というトグルボタンが表示される。このトグルボタンをオンにすれば、AIボットはもうコンテンツにアクセスできなくなる。

 もちろん、AIボットは絶えず進化している。Cloudflareによると、この機能は有害なボットの「フィンガープリント」を検知するため、やはり自動的に進化するという。

 新ツールは米国時間7月5日からすべてのCloudflareユーザーを対象に提供されている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
リスキリング成果を実感する企業の8割が「昇給・昇格」を実施–パーソルイノベーション調査
IT関連
2024-03-28 16:14
HPE、AI活用で再定義した保守サービスとサポートポータルを発表
IT関連
2021-04-07 01:45
地球低軌道で撮影されるハイパースペクトル画像を提供するWyvernが約5.2億円調達、2022年に同社初の打ち上げを予定
IT関連
2022-01-19 04:14
550円の「Raspberry Pi Pico」でIoT その2:Arduino IDEを動かす :名刺サイズの超小型PC「ラズパイ」で遊ぶ(第45回)
アプリ・Web
2021-07-25 08:17
HashiCorp、「Vagrant Cloud」をHCP移行–新名称は「HCP Vagrant Registry」
IT関連
2024-05-26 02:16
マイクロソフト、Arm版Windowsのアプリ開発を支援する小型PC「Project Volterra」
IT関連
2022-05-27 17:32
CTCとデル、AI分野での連携を強化–インフラからアプリまで
IT関連
2024-10-09 10:11
IBM、G7で東大らと10万量子ビットコンピューター開発に向け合意
IT関連
2023-05-23 20:10
大論争の末、2003年以来初のアルツハイマー病治療薬を米食品医薬品局が承認
ヘルステック
2021-06-15 23:59
事業者がクライアントとパートナーを結びつけるB2B向けバーチャル会議プラットフォームのInEventが約2億円調達
ネットサービス
2021-02-10 19:48
国際物流プラットフォーム「Giho」を手がけるWillboxが9500万円を調達し事業を本格始動
フードテック
2021-05-19 03:01
TIS、本人確認サービスでデジ庁の認証アプリを活用–サービス事業者の導入負担軽減
IT関連
2025-01-11 02:45
名古屋市がイノベーターのための人材育成プログラム「NAGOYA BOOST 10000 2021」参加者を募集
EdTech
2021-06-16 01:04
「Android 15」で楽しみな新機能8選–「Private Space」や大画面での体験の改善など
IT関連
2024-05-26 09:53