Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始

今回は「Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始」についてご紹介します。

関連ワード （作成、学習、活動量等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。

生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。

しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。

Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。

下記がCloudflareのダッシュボード画面で、すでに機能が利用可能になっていることが分かります（実際にPublickeyが導入しているCloudflareのダッシュボード画面です）。

大量の生成AIのBotが活動中

Cloudflareによると、すでに大量の生成AIのBotがクローリングを行っており、特にTikTokを所有する中国のByteDanceの「Bytespider」、OpenAIの「GPTBot」、Anthropicの「Claudebot」、Amazonの「Amazonbot」などの活動量が多いと分析しています。

下記はCloudflareによる過去1年各種の生成AIのBotによるクローリングの活動量を示したグラフです。

Cloudflareは、生成AIのBotがユーザーエージェントを偽装するなどで本物のWebブラウザに見せかけようとしているケースもあるとも説明しています。

そのため機械学習によってBotをスコアリングすることでそうした偽装を発見し、つねにブロックリストに反映させているとのことです。