はじめに

CloudflareでAIのトレーニングボットをブロックするという記事を見て、*1参考 自分のサイトに導入するとしたらどのような手順になるかを調べておきたく調査してみた。

環境

Cloudflare

手順

Cloudflareダッシュボードにログインする

対象のドメインを選択する

今回は、k-bushi.comとする

概要 > AIクローラを制御する欄を確認する

ブロックのオプションを選択する

※オプションについて

※1: Cloudflareはサブドメインに広告があるかどうかを自動的に検出し、該当する広告ユニットを含むホスト名のみをブロックする

ブロックされるbotについて

ブロックされるbotについては以下に記載されている。

• Which bots are blocked
  https://developers.cloudflare.com/bots/concepts/bot/#ai-bots

補足: 個別にAIクローラを制御したい場合

個別にAIクローラを制御することもできるとのこと。
ドキュメントは以下を参照する

• AI Crawl Control
  https://developers.cloudflare.com/ai-crawl-control/

参考

• Block AI Bots
  https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/

• Control content use for AI training with Cloudflare’s managed robots.txt and blocking for monetized content
  https://blog.cloudflare.com/control-content-use-for-ai-training/

• AI bots | Cloudflare Docs
  https://developers.cloudflare.com/bots/concepts/bot/#ai-bots

おわりに

AIクローラを許可/拒否するという手順を調査した。
自分の記事が学習されたくないというときはこのオプションで拒否するのがよさそうだ。
私は調査だけして、現状は許可する設定のままとしているが、自分の記事が学習されると困るとなったときはこの手順で拒否するようにしてみよう。