Cloudflare学習拒否、残すのは約束した混用クローラー

Cloudflare Blog, “Have it both ways: stay discoverable in search while disallowing AI training”（2026年9月15日公開）。Disallow AI Training と Accountable 指定を発表した記事である。混用クローラーを「検索と AI 学習の両方に仕える一つのクローラー。片方を断れば、もう片方も断ることになる」(“mixed-use crawlers: a single crawler serving both search and AI training. Refuse one, and you refuse the other.”)と定義し、「Cloudflare 上のサイトの1%未満が検索ボットを遮断することを選んでいる」(“less than 1% of Cloudflare sites choose to block Search bots”)、「17%のサイトが学習を遮断する何らかの機構を有効にすることを選んでいる」(“17% of sites choose to enable some mechanism to block training”)と書く。robots.txt の限界について「robots.txt の指示だけではこの問題を解決できない。誰でも公開できるが、誰がクロールしているかを識別できず、なぜクロールしているかを判定できず、無視するクローラーを止められない」(“A robots.txt directive alone cannot solve this problem. Anyone can publish one, but it cannot identify who is crawling, determine why they are crawling, or stop a crawler that ignores it.”)と書き、網の役割を「網なら解決できる。我々は意思を公開し、誰がクロールしているかを識別し、なぜクロールしているかを分類し、無視する者を遮断し、各運営者が実際に何をしたかを Radar で報告する」(“A network can solve it, however: we publish the preference, identify who is crawling, classify why they are crawling, and block the ones that ignore it – then report what each operator actually does on Radar.”)と書く。遮断の限界については「しかし遮断はクローラーを取り除くだけで、クローラーの振る舞いは変えない。より良い結果は、選択を迫らない運営者である」(“But blocking removes a crawler. It doesn’t change how crawlers behave. The better outcome is operators that don’t make you choose at all.”)と書く。機能名の由来は「Disallow AI Training という名は、それが公開する robots.txt の Disallow: 指示に由来する」(“Disallow AI Training is named for the Disallow: directive it publishes in your robots.txt.”)と書かれ、変更点として「Block と “Block on pages with ads” は、これらを遮断すると検索の発見可能性にも影響しうるという理由で、以前は混用クローラーに適用されなかった」(“Block and “Block on pages with ads” previously did not apply to mixed-use crawlers because blocking them could also affect search discoverability.”)、「“Block AI Bots” は、より細かい Search・Training・Agent の制御に道を譲り廃止予定になる」(““Block AI Bots” will be deprecated in favor of the more granular Search, Training, and Agent controls.”)、「管理 Robots.txt は Bot Preference Sync に道を譲り廃止予定になる」(“Managed Robots.txt will be deprecated in favor of Bot Preference Sync.”)と書く。Bing については対応の目標を「2027年初頭」(“targeted for early 2027”)と置き、「その対応が始まるまで、Disallow AI Training を選んでも、robots.txt 経由で Bing へ学習拒否の意思は自動的には伝わらない」(“Until that support launches, selecting Disallow AI Training will not automatically convey a no-training preference to Bing through robots.txt.”)と書く。広告ページの一覧については「その一覧は大きく、robots.txt に列挙するには頻繁に変わりすぎる」(“that list is too large and changes too frequently to enumerate in robots.txt”)と書き、エージェント向けの指示については「インターネットには、エージェントへ Disallow の意思を表現するための確立した指示がまだ無い」(“the Internet does not yet have a well-established directive for expressing Disallow preferences to agents”)と書く。要約の制御については「サイト全体で要約を許すか禁じるかを選ぶことは、依然として鈍い道具である」(“a site-wide choice between allowing and prohibiting summaries is still a blunt instrument”)、目標を「来年初頭までに、含める内容の量を制御できるようにすることが目標である」(“By early next year, our goal is to let you control how much of your content is included”)と書く。https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/ ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹² ↩¹³ ↩¹⁴ ↩¹⁵ ↩¹⁶ ↩¹⁷ ↩¹⁸ ↩¹⁹ ↩²⁰ ↩²¹ ↩²²

Google, “An update on web publisher controls”（2023年9月28日公開）。Google-Extended を告知した記事である。「本日、Google-Extended を発表する。ウェブパブリッシャーが、自分のサイトが Bard と Vertex AI の生成 API の改善に役立つかどうかを管理するために使える新しい制御である」(“Today we’re announcing Google-Extended, a new control that web publishers can use to manage whether their sites help improve Bard and Vertex AI generative APIs”)と書き、Google-Extended のような制御を robots.txt を通じて提供することを透明性と制御への重要な一歩と位置づける(“Making simple and scalable controls, like Google-Extended, available through robots.txt is an important step”)。用途ごとの意思を robots.txt で公開する仕組みが2023年9月から在ったことを示すために引く。https://blog.google/technology/ai/an-update-on-web-publisher-controls/ ↩

Cloudflare Blog, “Control content use for AI training with Cloudflare’s managed robots.txt and blocking for monetized content”（2025年7月1日公開）。変更前の状態を示す記事である。管理 robots.txt について「顧客は Cloudflare に robots.txt ファイルの作成と管理を任せられ、クローラーにサイトへ AI 学習目的でアクセスしないよう伝える適切な記載を作る」(“customers can let Cloudflare create and manage a robots.txt file, creating the appropriate entries to let crawlers know not to access their site for AI training”)と書き、広告ページの遮断について「すべての顧客が、広告で収益化している部分だけ AI ボットを遮断する新しい選択肢を選べるようになる」(“all customers can choose a new option to block AI bots only on portions of their site that are monetized through ads”)と書く。https://blog.cloudflare.com/control-content-use-for-ai-training/ ↩ ↩² ↩³

Cloudflare Blog, “Giving users choice with Cloudflare’s new Content Signals Policy”（2025年9月24日公開。2026年9月18日に取得。記事本文が挙げる例は「User-Agent: *／Content-Signal: search=yes, ai-train=no／Allow: /」で、「If a website operator wants to allow search, disallow training, and expressed no preference regarding ai-input, they could include the following in their robots.txt」と書く。規模は「Cloudflare customers have already turned on our managed robots.txt feature for over 3.8 million domains」。管理 robots.txt については「これらの顧客のために、我々が代わって配信している robots.txt を更新し、Content Signals Policy と次のシグナルを含める：Content-Signal: search=yes, ai-train=no」(“For these customers, we will update the robots.txt file that we already serve on their behalf to include the Content Signals Policy and the following signals”)と書く。Cloudflare docs の管理 robots.txt の例（developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/・2026年9月19日取得）は Content-signal: search=yes, ai-train=no, use=reference と Google-Extended・Applebot-Extended への Disallow を含む。ページの HTML ではこの例がコードブロック内で語ごとに分割されており、テキストとして連結してから照合した）。変更前から用途ごとの意思の公開が在ったことを示すために引く。https://blog.cloudflare.com/content-signals-policy/ ↩ ↩²

IETF, RFC 9309 “Robots Exclusion Protocol”（2022年9月公開）。robots.txt を標準化した文書である。「これらの規則はアクセス認可の形式ではない」(“These rules are not a form of access authorization.”)と規定する。留保として引くのは、この規定が、robots.txt に公開する意思表示そのものには強制力が無いことを示すからである。https://www.rfc-editor.org/rfc/rfc9309.txt ↩ ↩² ↩³

Google Search Central, “Google’s common crawlers”（2026年9月18日取得）。Google-Extended の仕様を示す資料である。「Google-Extended は独立した HTTP リクエスト用ユーザーエージェント文字列を持たない。クロールは既存の Google のユーザーエージェント文字列で行われ、robots.txt のユーザーエージェントトークンは制御の役割で使われる」(“Google-Extended doesn’t have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.”)と書き、「Google-Extended は、ウェブパブリッシャーが、Google が自分のサイトからクロールした内容を将来世代の Gemini モデルの学習に使ってよいかどうかを管理するために使えるスタンドアロンのプロダクトトークンである」(“Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models”)、「Google-Extended は Google 検索へのサイトの掲載に影響せず、Google 検索でのランキング信号としても使われない」(“Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.”)と書く。https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers ↩ ↩²

Apple Support, “About Applebot”（2026年9月18日取得）。Applebot-Extended の仕様を示す資料である。「ウェブパブリッシャーは、robots.txt ファイルで Applebot-Extended を許可しないことにより、自分のコンテンツが生成的な基盤モデルの学習に使われることをオプトアウトできる」(“Web publishers can opt-out from having their content used to train generative foundation models by disallowing Applebot-Extended in the robots.txt file.”)と書き、「Applebot-Extended を許可せず、かつ nosnippet メタタグでウェブサイトのコンテンツにタグ付けした場合でも、ウェブサイトの指示は Applebot がウェブページをクロールすることを許可し続ける場合がある」(“Even if you disallow Applebot-Extended and tag website content with the nosnippet meta tag, your website instructions may still allow Applebot to crawl your webpages.”)と書く。さらに「Applebot-Extended はウェブページをクロールしない。Applebot-Extended を許可しないウェブページも、検索結果に含まれうる。Applebot-Extended は、Applebot ユーザーエージェントが取得したデータをどう使うかを決めるためだけに使われる」(“Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent.”)、「Applebot-Extended のサイト規則は、検索の順位付けでは考慮されない」(“Site rules for Applebot-Extended are not considered in ranking for Search.”)と書く。https://support.apple.com/en-us/119829 ↩ ↩²

Google Search Central, “AI features and your website”（2026年9月18日取得）。学習拒否と検索内 AI 機能の関係を示す資料である。「AI は検索に組み込まれ、検索の機能に不可欠であり、だから Googlebot 向けの robots.txt 指示が、サイト所有者にとって自分のサイトが検索のためにどうクロールされるかを管理する制御になる」(“AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search.”)と書き、「検索でページから表示される情報を制限するには、nosnippet、data-nosnippet、max-snippet、noindex の各制御を使う。Google の他の一部のシステムでの AI 学習と grounding を制限するには、Google-Extended について読む」(“To limit the information shown from your pages in Search, use nosnippet, data-nosnippet, max-snippet, or noindex controls. To limit AI training and grounding in some of Google’s other systems, read more about Google-Extended.”)と書く。留保として引くのは、学習拒否が検索内の AI 要約には触れないと読める区分だからである。https://developers.google.com/search/docs/appearance/ai-features ↩ ↩²

IETF AI Preferences (aipref) Working Group charter（2026年9月18日取得）。「AI Preferences Working Group は、AI モデルの開発・展開・利用のために内容がどう収集・処理されるかについての意思を表現するための構成要素を標準化する」(“The AI Preferences Working Group will standardize building blocks that allow for the expression of preferences about how content is collected and processed for Artificial Intelligence (AI) model development, deployment, and use.”)と書き、「本憲章で範囲外とする話題は次のとおりである」(“The following topics are out of scope for this charter:“)として、「意思の技術的強制」(“Technical enforcement of preferences”)、「クライアントやクローラーを認証・認可するためのアプリケーション層プロトコル」(“Application layer protocols for authenticating or authorizing clients and/or crawlers”)、「内容に関する意思の登録簿の設立」(“Establishment of registries of preferences relating to content”)、「AI 学習の監査その他の透明性措置」(“Auditing and other transparency measures for AI training”)の四項目を挙げる。留保として引くのは、この範囲外の指定が、意思の表現層と強制層の分業を示すからである。https://datatracker.ietf.org/wg/aipref/about/ ↩ ↩²