Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始

今回は「Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始」についてご紹介します。

関連ワード (作成、学習、活動量等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。

生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。

しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。

Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。

下記がCloudflareのダッシュボード画面で、すでに機能が利用可能になっていることが分かります(実際にPublickeyが導入しているCloudflareのダッシュボード画面です)。

生成AIのBotによるクローラーをブロック

大量の生成AIのBotが活動中

Cloudflareによると、すでに大量の生成AIのBotがクローリングを行っており、特にTikTokを所有する中国のByteDanceの「Bytespider」、OpenAIの「GPTBot」、Anthropicの「Claudebot」、Amazonの「Amazonbot」などの活動量が多いと分析しています。

下記はCloudflareによる過去1年各種の生成AIのBotによるクローリングの活動量を示したグラフです。

生成AIのBotによるクローリングの活動量

Cloudflareは、生成AIのBotがユーザーエージェントを偽装するなどで本物のWebブラウザに見せかけようとしているケースもあるとも説明しています。

そのため機械学習によってBotをスコアリングすることでそうした偽装を発見し、つねにブロックリストに反映させているとのことです。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
電子文書の利用を推進する諸制度の動きとテクノロジー–前編
IT関連
2021-01-19 02:41
ヴイエムウェアが年次イベント、日本20周年で「伝統と革新」「マルチクラウドとAI」を主軸に
IT関連
2023-11-16 10:02
「Microsoft Teams」、検索改善や「カスタマーロックボックス」など順次
IT関連
2022-04-09 07:32
ゼロトラストセグメンテーションでクラウドのセキュリティを強化する秘策
IT関連
2024-08-06 23:13
「ウォールドガーデンは崩壊した」–エリソン氏が語る、顧客を“庭の主”にするマルチクラウド
IT関連
2022-10-21 22:57
世界中の組織の90%が2年以内にITスキル不足の危機で痛手を感じ、製品の遅延、競争力の低下などを引き起こす。IDCが予測
働き方
2024-06-07 01:50
インフラのGitOpsを可能にする「Pulumi Deployments」登場。コードをGit Pushするだけでインフラの構成変更を実行
DevOps
2022-11-09 03:24
NECソリューションイノベータら、唾液から免疫状態を可視化する測定システム開発
IT関連
2022-11-16 01:18
「Platform Engineeringへの招待」、開発者の生産性を高めるプラットフォームを作り、運営していくための考え方とは(後編)。Platform Engineering Meetup #1
DevOps
2023-03-14 01:52
辞めた会社に戻る「ブーメラン社員」は人材不足の有力な解決策だ
IT関連
2022-07-14 03:37
「nasne」初期出荷分は完売、バッファローが明らかに 販売再開は4月中旬
くらテク
2021-03-31 18:06
米商務省傘下NIST、「AIのリスク管理フレームワーク」策定に向け意見や情報募る
IT関連
2021-08-04 17:10
さくらインターネット、IoTサービス向けPaaS–データプロトコル意識せずに開発
IT関連
2022-03-26 00:10
労働集約型のビジネスから脱出を進める–富士通の株主総会で時田社長が説明
IT関連
2024-06-26 21:06