三年来，要告诉一家AI公司不要在你的网站上训练，就意味着要知道它爬虫的名字。OpenAI的是GPTBot，Anthropic的是ClaudeBot，Google的是Google-Extended，微软的是一个meta标签。每个供应商都有自己的开关、自己的语法和自己的文档，任何想退出AI训练的网站运营者都得把它们全部找出来并维护好。周五，四家最大的AI公司同意改为只读取一行。
OpenAI、Google、微软和Anthropic各自宣布，将尊重robots.txt中的一个共享信号。这个小小的文本文件自1994年以来一直规范着机器如何对待网站。发布者将能够写下一条规则，同时传达给所有参与的AI供应商，声明其内容是否可以用于训练生成式模型。OpenAI表示将在未来几个月内实施该信号。Google计划在2027年提供支持。微软公布了最详细的时间表，新的控制措施从2月起生效。
这套机制刻意做得平淡无奇，而这正是重点。该提案没有给robots.txt增加任何新指令。网站在一个名为__usage_ai-training的策略令牌下，用一直使用的Allow和Disallow行写一个普通的规则组。通配符组永远无法匹配该令牌，而不含该令牌的文件不表达任何偏好，今天网络上发布的每一个robots.txt文件都是如此。任何人的现有配置都不会在一夜之间改变含义。
这个想法源于互联网工程任务组（IETF）的AI Preferences工作组，具体的草案由Anthropic工程师Kevin Kelley提交。这是一份个人互联网草案，不是已通过的标准，如果工作组不再推进，它将于2027年5月过期。Anthropic表示，在其各项服务中实现支持需要一些时间。这是竞争对手之间的自愿协定，不是法规，除了声誉之外没有任何惩罚。
细则才是这份协议不再显得简单的地方。每家公司都会读到同一行，却各自做出不同的处理。Google计划将共享退出视为Google-Extended屏蔽，这会把内容从未来的Gemini训练和Gemini应用内的grounding中移除，但不影响Google搜索。微软把决定一分为二：一个用于训练的偏好，一个用于grounding的偏好，后者决定你的页面能否为Copilot和必应的AI Mode生成的答案提供素材。微软还将淘汰今天许多网站依赖的NoArchive和NoCache标签，给运营者到2027年3月的时间重新表明自己的选择。错过这一期限的网站将默认允许grounding。
这最后一个细节值得董事会关注。退出训练不等于退出答案。一家公司可以让自己的内容留在模型权重之外，同时仍允许AI产品引用它，反之亦然，而每个供应商把这条线画在不同的地方。微软直言不讳地警告：限制grounding将限制品牌在AI生成答案中的可见度，但不影响普通搜索结果。这个决定不再是网站团队的技术杂务。它是一个分发战略问题：你的文字在哪里为你最卖力地工作。
周五发生的变化也有一个诚实的界限。这个信号对所有人都是自愿的，包括宣布它的公司。它没有提及付费、许可或署名，对已经被今天模型吸收的内容也无能为力。想要补偿的发布者仍然需要合同；想要删除的发布者仍然需要律师。共享的这一行提供的是同意机制，便宜到任何网站都能使用，统一到行业无法再说遵守它太复杂。
更深层的转变值得点明。训练数据正在从行业索取的东西变成必须请求的东西，而这种请求正在以网络标准化事物的方式被标准化：一个令牌、一套词汇、一个工作组、一个期限。一旦同意有了文件格式，谈判就有了起点。预计许可谈判、监管机构的草案和企业数据交易都会引用这个信号，就像隐私讨论引用cookie横幅一样：那是一个模糊原则变成操作控制的时刻。
对领导团队来说，行动很小但真实。请审慎决定你的内容是训练模型、为答案提供信息、两者皆是还是两者皆非，把这个决定在一个地方写下来，而不是让默认值替你回答。指定专人跟踪每个供应商在2026和2027年如何解释这共享的一行，因为同样的话在Google和微软那里在一段时间内会有不同的含义。把这件事当作战略选择而不是设置页面的公司，才会是那些内容按照自己的条件运行的公司。
以数学思维思考。以智慧进行工程设计。以战略引领。负责任地构建。向全球扩展。通过人工智能创造真正的商业价值。
