过去三年,叫一家AI公司覅用侬个网站来训练,就等于要晓得伊个爬虫个名字。OpenAI个GPTBot,Anthropic个ClaudeBot,Google个Google-Extended,Microsoft个meta标签。每家供应商侪有自家个开关、自家个语法、自家个文档,任何想退出AI训练个网站运营者侪要一家一家寻出来。礼拜五,四大AI公司同意仔看同一行就可以。
OpenAI、Google、Microsoft搭Anthropic各自宣布,伊拉会尊重robots.txt里向一个共同信号——迭个自1994年以来已经决定机器哪能对待网站个小文本文件。出版商可以写一条规则,同时搭所有参与个AI供应商对话,表明伊个内容可以覅可以用来训练生成式模型。OpenAI讲会辣未来几个月实施迭个信号。Google计划2027年支持。Microsoft公布仔最详细个时间表,新控制措施二月份生效。
迭个机制是故意弄得老无聊个,迭个就是重点。建议呒没辣robots.txt加任何新指令。网站辣一个政策令牌__usage_ai-training下头写普通个规则组,用个是一直辣用个Allow搭Disallow行。通配符组永远覅可能匹配迭个令牌,呒没令牌个文件覅表达任何偏好——今朝网上发布个每一个robots.txt侪是迭能。任何人现有个设置侪覅会一夜之间变仔意思。
迭个想法来自Internet Engineering Task Force个AI Preferences工作组,具体草案由Anthropic工程师Kevin Kelley提交。迭个是个人个Internet Draft,覅是达成共识个标准,除非工作组推进,否则2027年5月就会过期。Anthropic讲要辣伊所有服务实施支援需要辰光。迭个是竞争对手之间个自愿协议,覅是法规,里向除仔声誉之外啥也呒没。
关键辣细节里向。每家公司会读同一行字但做个事体覅一样。Google计划拿共同个训练退出当做Google-Extended封锁,拿内容剔出未来Gemini训练搭Gemini Apps里向个grounding,但覅碰Google Search。Microsoft拿决定一分为二:一个训练偏好,一个grounding偏好,就是侬个页面可以覅可以喂Copilot搭Bing AI Mode生成个答案。Microsoft还要停用NoArchive搭NoCache标签——交关网站现在还辣靠伊拉——畀运营者到2027年3月重新申报偏好。错过迭个deadline个网站会默认允许grounding。
最后迭一点值得董事会留意。退出训练覅等于退出答案。一家公司可以拿内容剔出模型权重个同时,仍然畀AI产品引用伊,或者倒过来,每家供应商辣覅同个地方划线。Microsoft明确警告:限制grounding会限制品牌辣AI生成答案里向个曝光,虽然覅影响普通搜索结果。迭个决定覅再是网站团队个技术维护,而是关于侬个字句辣啥地方为侬最出力做个分发策略问题。
礼拜五改变个事体也有一个诚实个界限。迭个信号对所有人侪是自愿个,包括宣布伊个公司。伊呒没讲任何关于付款、授权或者署名个事体,也对已经吸入仔今朝模型个内容呒没任何作用。想要补偿个出版商仍然需要合同;想要删除个仍然需要律师。共同埃行提供个是同意机制,便宜到任何网站侪用得起,统一到行业覅可以讲遵守太难。
更深层个改变值得讲明。训练数据正辣从行业拿走个事体,变成伊拉必须开口要求个事体,而迭个要求正以网络标准化事物个方式被标准化:一个令牌、一套词汇、一个工作组、一个到期日。一旦同意有仔文件格式,谈判就有仔起点。预期授权谈判、监管草案搭企业数据交易会引用迭个信号,就好似隐私讨论引用cookie横幅一样:作为模糊原则变成操作控制个一刻。
对领导团队来讲,行动虽小但真实。有意识个决定侬个内容训练模型、喂答案、两者侪做还是两者侪覅做,一趟头、辣一个地方写落迭个决定,覅畀默认代侬回答。拣个人监察2026搭2027年间每家供应商哪能解读迭行共同文字,因为同样个字辣Google搭Microsoft有一段辰光会有覅同个意思。拿迭桩事体当策略选择而覅是设置页面个公司,才是伊拉内容按自家条款运作个公司。
用数学来思考。用智慧来设计。用战略来领导。负责任地建造。向全球扩展。通过人工智能创造真正个商业价值。
