Cloudflare、AIスクレイピングを防ぐ無料ツールを提供

今回は「Cloudflare、AIスクレイピングを防ぐ無料ツールを提供」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 人工知能(AI)のトレーニングのためにAIボットがウェブサイトのコンテンツをスクレイピングするのが心配なら、Cloudflareがその対策に役立つ。

 ウェブの約20%でプロクシとして利用されていると主張するCloudflareは、すべてのAIボットがサイトのテキストをスクレイピングするのを防ぐ新しいツールを導入した。同社によると、無料でサービスを利用している顧客も含め、すべての顧客にこのツールを提供するという。

 生成AIの台頭により、企業はチャットボットをトレーニングするためのコンテンツを必要としている。多くの企業は、(「ChatGPT」が「Reddit」への投稿を利用してやっているように)分析用にサイトからテキストを抽出するウェブスクレイピングツールを利用している。ウェブスクレイピングボットについて隠し立てせず正直な企業もあれば、そうではない企業もある。

 Cloudflareは2023年9月、許可なしにサイトをスクレイピングする「悪質な」AIのウェブクローラーをユーザーがブロックできる機能をリリースした。当然ながら、一部の企業は、信用できるスクレイピングツールを装ったスクレイピングツールを用意して、ブロックを回避した。そのため、今回の新しいツールは、スクレイピングの適切なプロトコルに従うものも含め、すべてのAIクローラーをブロックする。

 2024年6月には、Cloudflareを利用している上位100万件の「インターネット資産」のうち約39%にAIボットがアクセスしていた、と同社は述べている。それらの資産のうち、AIボットをブロックする措置をとっていたのは3%未満だった。同社によると、サイトをスクレイピングしていた上位4つのボットは「Bytespider」「Amazonbot」「ClaudeBot」「GPTBot」だったという。

 「TikTok」の運営元である字節跳動(バイトダンス)が保有するBytespiderは、ChatGPTと競合する「Doubao」など、大規模言語モデル用のトレーニングデータを収集するのに利用されている。Amazonbotは「Alexa」の質問回答機能、ClaudeBotはチャットAIの「Claude」、GPTBotはChatGPTのトレーニングにそれぞれ利用されている。

 Cloudflareのユーザーであれば、このツールは簡単に利用できる。ダッシュボードの設定セクションに進んでから「Security」>「Bots」をクリックすると、「AI Scrapers and Crawlers」というトグルボタンが表示される。このトグルボタンをオンにすれば、AIボットはもうコンテンツにアクセスできなくなる。

 もちろん、AIボットは絶えず進化している。Cloudflareによると、この機能は有害なボットの「フィンガープリント」を検知するため、やはり自動的に進化するという。

 新ツールは米国時間7月5日からすべてのCloudflareユーザーを対象に提供されている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
AWS、日本独自で生成AIの大規模言語モデル開発支援策を展開
IT関連
2023-07-05 02:43
ダイヤル式金庫の仕組みを再現 カプセルトイ「マジで破れる金庫」発売
くらテク
2021-02-16 04:19
「アプリで開閉するレンタカーが山奥で開かず」の人、その後の顛末を語る(前編) トヨタの担当者と再検証した結果、どうなったのか (1/2 ページ)
くわしく
2021-08-12 18:21
顔から感情をリアルタイムで読み取り分類 深層学習技術で :Innovative Tech
トップニュース
2021-03-21 01:39
世界中からリモートワーカーを見つけるOmnipresentがシリーズAで16.4億円を調達
HRテック
2021-01-23 20:03
中国の写真加工アプリ「Meitu」が43.4億円相当の仮想通貨を購入
ブロックチェーン
2021-03-09 06:15
プロフィールサイト「lit.link」やコミュニティSNS「WeClip」を運営するTieUpsが1億円のシード調達
IT関連
2022-03-08 13:21
企業も商品も個人にも通じる「ブランドパーパス」のススメ
IT関連
2021-05-27 19:01
IT専任担当が不在できる旅館、観光業のDX–福島市に学ぶウェブ活用
IT関連
2025-04-03 12:26
アルテリックス、カスタマーサクセスサービスを国内で本格展開
IT関連
2024-04-18 02:10
“AI石川遼”がゴルフ場で出迎え 来場者の名前呼び掛け
ロボット・AI
2021-04-16 10:47
SIEが格闘eスポーツ大会「EVO」を開催元から買収 運営は子会社が引継ぎ
企業・業界動向
2021-03-20 11:07
上海がロックダウン解除もサプライチェーン問題は続く見通し
IT関連
2022-06-07 19:40
グーグルの新型「Pixel 9a」、廉価版スマホの最適解となり得るか?
IT関連
2025-03-26 08:32