Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始

今回は「Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始」についてご紹介します。

関連ワード (作成、学習、活動量等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。

生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。

しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。

Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。

下記がCloudflareのダッシュボード画面で、すでに機能が利用可能になっていることが分かります(実際にPublickeyが導入しているCloudflareのダッシュボード画面です)。

生成AIのBotによるクローラーをブロック

大量の生成AIのBotが活動中

Cloudflareによると、すでに大量の生成AIのBotがクローリングを行っており、特にTikTokを所有する中国のByteDanceの「Bytespider」、OpenAIの「GPTBot」、Anthropicの「Claudebot」、Amazonの「Amazonbot」などの活動量が多いと分析しています。

下記はCloudflareによる過去1年各種の生成AIのBotによるクローリングの活動量を示したグラフです。

生成AIのBotによるクローリングの活動量

Cloudflareは、生成AIのBotがユーザーエージェントを偽装するなどで本物のWebブラウザに見せかけようとしているケースもあるとも説明しています。

そのため機械学習によってBotをスコアリングすることでそうした偽装を発見し、つねにブロックリストに反映させているとのことです。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
建機の遠隔操作や自動操縦で建設現場のDXを進める東大発スタートアップARAVが6300万円を調達
ロボティクス
2021-03-09 03:39
NVIDIA、米国輸出規制に適合する中国向け半導体を提供開始
IT関連
2022-11-10 10:03
入社式、対面そろり復活も……研修はオンラインが一般的に
IT関連
2021-03-31 09:55
第17回:コロナ過で判明したリモートワークの功罪–恒久化へのアドバイス
IT関連
2022-02-05 04:17
AIは歌手の敵か味方か AIシンガー開発者が語る未来 分身がいることが武器になる社会へ
くわしく
2021-01-30 23:30
「シン・エヴァ」配信初日の視聴者数で歴代1位に Amazonが発表
くらテク
2021-08-18 08:53
マイクロソフト、「ASP.NET Core in .NET 8」正式版リリース。事前コンパイルにより、高速に起動する軽量なWebアプリケーションを実現
.NET
2023-11-15 13:23
ハッカーがほぼ全モデルのiPhoneに有効な新しい脱獄ツールを公開
セキュリティ
2021-03-03 06:44
「ガンダムマンホール」プロジェクト始動 まず富野由悠季さんの出身地に
くらテク
2021-07-20 07:41
「Google Chrome」ブラウザーのタブを整理する5つの方法
IT関連
2024-06-02 19:11
「Google Chrome」、新セキュリティー機能「V8 Sandbox」を間もなく実装
IT関連
2024-04-12 07:05
AIで生成したプログラムの使用が招くリスク–考えられる法的責任
IT関連
2023-06-29 13:13
新たな1歩を踏み出すロボティクススタートアップたち
ロボティクス
2021-03-13 18:14
グーグルの親会社Alphabet、1万2000人の人員を削減へ
IT関連
2023-01-24 21:27