Cloudflare、AIスクレイピングを防ぐ無料ツールを提供

今回は「Cloudflare、AIスクレイピングを防ぐ無料ツールを提供」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 人工知能(AI)のトレーニングのためにAIボットがウェブサイトのコンテンツをスクレイピングするのが心配なら、Cloudflareがその対策に役立つ。

 ウェブの約20%でプロクシとして利用されていると主張するCloudflareは、すべてのAIボットがサイトのテキストをスクレイピングするのを防ぐ新しいツールを導入した。同社によると、無料でサービスを利用している顧客も含め、すべての顧客にこのツールを提供するという。

 生成AIの台頭により、企業はチャットボットをトレーニングするためのコンテンツを必要としている。多くの企業は、(「ChatGPT」が「Reddit」への投稿を利用してやっているように)分析用にサイトからテキストを抽出するウェブスクレイピングツールを利用している。ウェブスクレイピングボットについて隠し立てせず正直な企業もあれば、そうではない企業もある。

 Cloudflareは2023年9月、許可なしにサイトをスクレイピングする「悪質な」AIのウェブクローラーをユーザーがブロックできる機能をリリースした。当然ながら、一部の企業は、信用できるスクレイピングツールを装ったスクレイピングツールを用意して、ブロックを回避した。そのため、今回の新しいツールは、スクレイピングの適切なプロトコルに従うものも含め、すべてのAIクローラーをブロックする。

 2024年6月には、Cloudflareを利用している上位100万件の「インターネット資産」のうち約39%にAIボットがアクセスしていた、と同社は述べている。それらの資産のうち、AIボットをブロックする措置をとっていたのは3%未満だった。同社によると、サイトをスクレイピングしていた上位4つのボットは「Bytespider」「Amazonbot」「ClaudeBot」「GPTBot」だったという。

 「TikTok」の運営元である字節跳動(バイトダンス)が保有するBytespiderは、ChatGPTと競合する「Doubao」など、大規模言語モデル用のトレーニングデータを収集するのに利用されている。Amazonbotは「Alexa」の質問回答機能、ClaudeBotはチャットAIの「Claude」、GPTBotはChatGPTのトレーニングにそれぞれ利用されている。

 Cloudflareのユーザーであれば、このツールは簡単に利用できる。ダッシュボードの設定セクションに進んでから「Security」>「Bots」をクリックすると、「AI Scrapers and Crawlers」というトグルボタンが表示される。このトグルボタンをオンにすれば、AIボットはもうコンテンツにアクセスできなくなる。

 もちろん、AIボットは絶えず進化している。Cloudflareによると、この機能は有害なボットの「フィンガープリント」を検知するため、やはり自動的に進化するという。

 新ツールは米国時間7月5日からすべてのCloudflareユーザーを対象に提供されている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
SQLite、複数クライアントからの同時書き込みを可能にする「BEGIN CONCURRENT」文を実装へ
RDB
2023-08-01 21:58
キンドリル、日本法人の新社長を任命–上坂氏はエグゼクティブアドバイザーに就任
IT関連
2024-02-03 22:06
ITの新しい利用モデルを訴求するHPE–採用企業の所感とは
IT関連
2022-11-29 02:57
インテルのゲルシンガーCEO、チップ生産がアジアに偏重していると指摘
IT関連
2021-03-26 12:34
Windows 11っぽい機能をWindows 10で試せるソフト 公式拡張ツール「PowerToys」を使ってみる
くわしく
2021-06-26 10:53
第1回:3つのフェーズで理解する「メタバース」の定義と社会的意義
IT関連
2022-02-04 08:19
中国の「データの罠」に陥るのを避ける方法
IT関連
2022-03-01 12:39
コロナ後のオフィスに戻った従業員をハッカーが「おかえりなさい」フィッシングの標的に
セキュリティ
2021-06-03 03:06
マイクロソフトが開発中の「Designer」ツール、新たな情報が明らかに
IT関連
2022-08-06 03:08
牛の町からドローンの町へ–休眠空港を試験場にして地域活性を進める米国小都市
IT関連
2023-02-10 03:48
NECと大塚商会、AIによる中小企業経営分析を共同開発
IT関連
2021-06-17 11:01
NTT-AT、AIでセキュリティ運用負荷を軽減するサービスを提供
IT関連
2024-06-15 10:45
コンサルティングとエンジニアリングの“二刀流”が強み–ウルシステムズの横山新社長
IT関連
2022-07-01 17:29
コンサル大手のBCGとEY、AI関連の取り組みを相次ぎ発表
IT関連
2023-09-20 06:27