この3年間、AI企業に自分のウェブサイトで学習しないよう伝えることは、そのクローラーの名前を知っていることを意味した。OpenAIならGPTBot、AnthropicならClaudeBot、GoogleならGoogle-Extended、Microsoftならメタタグ。ベンダーごとに独自のスイッチ、独自の構文、独自のドキュメントがあり、AI学習から外れたいウェブサイト運営者はそれらすべてを見つけて保守しなければならなかった。金曜日、最大手4社のAI企業が、その代わりにたった一行を読むことに合意した。
OpenAI、Google、Microsoft、Anthropicはそれぞれ、1994年からマシンのウェブサイトの扱いを規定してきた小さなテキストファイルrobots.txtにおける共通シグナルを尊重すると発表した。パブリッシャーは、参加するすべてのAIプロバイダーに一度に届く一つのルールを書き、自分のコンテンツを生成モデルの学習に使ってよいかどうかを表明できる。OpenAIは今後数か月でこのシグナルを実装すると述べている。Googleは2027年にサポートを計画している。Microsoftは最も詳細な時間表を公表し、新しいコントロールは2月から有効になる。
仕組みは意図的に退屈なもので、それこそがポイントだ。この提案はrobots.txtに新しいディレクティブを一切追加しない。サイトは__usage_ai-trainingというポリシートークンの下に、いつも使っているAllowとDisallowの行で普通のルールグループを書く。ワイルドカードグループはそのトークンに決して一致せず、トークンを含まないファイルは何の選好も表明しない。今日公開されているすべてのrobots.txtがそうだ。既存の設定の意味が一夜にして変わることはない。
このアイデアはInternet Engineering Task ForceのAI Preferencesワーキンググループから生まれ、具体的なドラフトはAnthropicのエンジニアKevin Kelleyが提出した。これは個人のInternet Draftであり、採択された標準ではなく、ワーキンググループが進展させなければ2027年5月に失効する。Anthropicは、全サービスへのサポート実装には時間がかかるとしている。これは競合同士の自発的な協定であり、規制ではない。評判以外のペナルティは何もない。
細かい注記を読むと、合意は単純には見えなくなる。各社は同じ行を読み、それぞれ違うことをする。Googleは共通のオプトアウトをGoogle-Extendedブロックとして扱う予定で、コンテンツは将来のGeminiの学習とGemini Apps内のグラウンディングから外れるが、Google検索には触れない。Microsoftは決定を二つに分ける。学習の設定と、グラウンディングの設定だ。後者は、CopilotやBingのAI Modeが生成する回答にあなたのページを使ってよいかどうかを決める。Microsoftは今日多くのサイトが頼りにしているNoArchiveとNoCacheタグも廃止し、運営者に2027年3月まで選択の再表明を求めている。その期限を逃したサイトは、デフォルトでグラウンディングを許可することになる。
この最後の詳細は取締役会の注目に値する。学習からのオプトアウトは、回答からのオプトアウトではない。企業はコンテンツをモデルの重みから外したまま、AI製品に引用させることも、その逆もできる。そして各ベンダーはその線を異なる場所に引く。Microsoftは率直に警告している。グラウンディングを制限すれば、AI生成回答でのブランドの視認性は制限されるが、通常の検索結果では制限されない。この決定はもはやウェブチームの技術的な保守作業ではない。あなたの言葉がどこで最も懸命に働くべきかという、流通戦略の問いだ。
金曜日に変わったことには、正直な限界もある。このシグナルは、発表した企業を含め全員にとって自発的なものだ。支払い、ライセンス、帰属表示については何も述べておらず、今日のモデルにすでに吸収されたコンテンツについては何もしない。補償を求めるパブリッシャーには依然として契約が必要で、消去を求めるパブリッシャーには依然として弁護士が必要だ。共通の行が提供するのは同意の仕組みであり、どんなウェブサイトでも使えるほど安価で、業界が「尊重するには複複雑すぎた」と言えないほど均一だ。
より深い変化には名前をつける価値がある。学習データは、業界が取るものから、求めなければならないものへと移りつつあり、その求め方はウェブが物事を標準化するやり方で標準化されている。トークン、語彙、ワーキンググループ、期限。同意にファイル形式ができれば、交渉に出発点ができる。ライセンス交渉、規制当局の草案、企業のデータ取引が、このシグナルを、プライバシー議論がcookieバナーに言及するのと同じように参照するだろう。曖昧な原則が運用上のコントロールになった瞬間として。
リーダーシップチームにとっての行動は小さいが現実的だ。自分のコンテンツがモデルを学習させるのか、回答に情報を与えるのか、その両方か、どちらでもないのかを熟慮して決め、その決定を一度だけ一か所に書き留めること。デフォルトに答えさせてはいけない。2026年から2027年にかけて各プロバイダーが共通の行をどう解釈するかを追跡する担当者を決めること。同じ言葉がGoogleとMicrosoftでしばらく異なる意味を持つからだ。これを設定ページではなく戦略的選択として扱う企業こそが、自分の条件でコンテンツを機能させる企業になる。
数学的に考える。知的に設計する。戦略的に導く。責任を持って構築する。グローバルに拡大する。人工知能で真のビジネス価値を生み出す。
