一行 robots.txt 就能挡住四家 AI 巨头？统一训练退出信号来了

过去十年，网站主想对 AI 公司说一句话——“别拿我的内容去训练模型”——得把这句话说几十遍：每个爬虫一个名字、每个厂商一套规则，robots.txt 越写越长，还总漏掉新冒出来的抓取器。2026 年 10 月 30 日，这个局面终于迎来一个像样的解法：OpenAI、谷歌、微软、Anthropic 四家公司同日宣布支持同一个退出信号，网站只需要在 robots.txt 里写一行，就能一次性向所有参与厂商表达“不用于 AI 训练”的偏好。

这不是四家公司突然良心发现，而是一次被诉讼、监管和出版商压力共同推着走的标准化尝试。信号本身的技术含量并不高，真正值得讨论的是它的边界：它能挡住什么、挡不住什么，以及 2027 年的落地时间表会不会又一次拖成空头支票。

以前为什么这么麻烦

robots.txt 本来是管“爬不爬”的，不是管“爬去干什么”的。一个网站如果不想被用于训练，过去的做法是把各家训练爬虫逐个列出来：GPTBot、ClaudeBot、CCBot、Google-Extended 等等。厂商一多，文件就变成一张需要持续维护的名单；厂商换个爬虫名字、或者新厂商入场，旧规则立刻出现缺口。更麻烦的是，同一家厂商可能用多个爬虫采数据，每个都要单独写规则，写错一行就等于没写。

对独立站长和小团队来说，这套活的成本不成比例。他们没有法务团队盯着每家厂商的爬虫文档，robots.txt 往往是建站时抄来的模板，之后几年没人再碰。结果就是：大媒体能靠谈判拿到私有协议，中小网站只能在默认“允许”里裸奔。

新信号到底是什么

新信号的核心是一个写在 User-Agent 行里的策略 token：__usage_ai-training。它来自 IETF AI Preferences 工作组的一份草案，作者是 Anthropic 的标准负责人 Kevin Kelley，草案日期为 2026 年 10 月 30 日，是一份有效期到 2027 年 5 月 3 日的 Internet-Draft，也就是说目前还是“进行中的工作”，不是正式标准。

写法本身沿用 robots.txt 的老语法，不引入新指令、不改匹配规则：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

上面这段的意思是：整站内容都不希望用于 AI 训练，但 /press-kit/ 目录下的内容例外、明确欢迎。草案还特意写了几个关键口径：路径可以分开表达偏好，不必整站一刀切；通配符 User-Agent: * 那组规则不会被理解为匹配这个 token，也就是说不写就等于“没有表达偏好”，而不是默认拒绝；私有协议可以覆盖这个信号；它只针对生成式 AI 模型的训练，不包括只做分类、排序、打分等非生成任务的模型。

OpenAI 的官方博客把话说得很克制：公司将在“未来数月内”实现这个信号，并且现有的爬虫控制会继续有效、不会被新信号取代。换句话说，新信号是叠加的一层，不是推倒重来。已经按老办法写了各家爬虫规则的网站，不需要、也不应该立刻把旧规则删掉。

四家公司的时间表并不一致

这是整件事里最值得冷静看的一张表。据 SiliconANGLE 2026 年 10 月 31 日的报道，Anthropic 已经开始支持这个 token；微软表示将在未来数月内实施，同时还会提供一个叫 AI Grounding 的单独控制，管的是“模型为了回答用户问题而实时抓取页面”这种场景，而不是训练；谷歌的计划是 2027 年内某个时间；OpenAI 的说法是“未来数月”。Meta 对这个方向表示了支持，但没有承诺实施。

时间差意味着一件事：在 2027 年真正到来之前，这个信号的实际保护力是参差不齐的。今天写上这行，对 Anthropic 可能已经生效，对另外几家还只是“已表态”。任何声称“一行代码立刻挡住所有 AI 训练”的说法，都是在夸大其词。

四个“不是”，先说清楚

第一，它不是禁爬令。这个 token 不改变爬虫行为本身：搜索引擎照常可以索引，页面照常可以出现在搜索结果里。它表达的是对“用途”的偏好，不是禁止访问。第二，它不追溯。已经抓走、已经用于训练的数据，不会因为今天补写一行就被吐出来。Engadget 的报道也明确提醒了这一点。第三，默认是允许。不写这行，不代表拒绝；只有明确写了 Disallow，才算表达了反对。第四，它不是法律。草案本身没有强制力，约束力来自各家公司的公开承诺和未来的标准进程，真正较劲的地方仍然在法庭上——比如《纽约时报》2023 年 12 月起诉 OpenAI 与微软的案子，至今仍是背景里的重磅砝码。

这四个“不是”不是泼冷水，而是帮读者建立正确的期待：这个信号降低的是“表达成本”，不是一劳永逸地解决训练数据争议。它把“我说没说清楚”这个问题解决了，但“对方听不听、听了做不做”还要看执行。

对 vibe 开发者意味着什么

如果你运营一个内容站、文档站、作品展示站，这件事和你直接相关。很多 vibe 项目上线后会把博客、更新日志、用户生成内容都放在同一个域名下，而这些内容恰恰是最容易被批量抓走的训练素材。新信号给了你一个低成本的表达方式，但落地时建议按这个顺序做：第一，先盘点你的 robots.txt 现状，把旧的各家爬虫规则留着，别急着替换；第二，决定是整站拒绝还是部分开放，比如公开的新闻稿、示例代码可以 Allow，核心文章、用户原创内容 Disallow；第三，在改动当天给 robots.txt 拍个快照、记下日期，因为偏好的效力按“抓取时生效的版本”判断，留档就是留证据；第四，如果你和某家厂商签了私有协议，记住协议优先于这个信号，别让公开文件和私下约定打架。

如果你做的产品本身要抓别人的内容，这个信号同样值得放进需求清单：你的爬虫在读取 robots.txt 时，是否识别并尊重 __usage_ai-training？很多小团队的抓取器只认 Disallow，根本不解析策略 token。提前把这层判断写进去，比事后被投诉再补要便宜得多。

判断：进步，但别神话

四家竞争对手愿意在同一个 token 上签字，这本身就是过去几年里训练数据争议中最实在的一次进展。它把中小网站从“逐家谈判、逐家维护”的泥潭里拉出来了一步，也给未来的立法和标准留了一个现成的技术锚点。但锚点不是终点：2027 年的实施进度、Meta 是否跟进、以及各家对“已抓取数据”的处理方式，才是决定这个信号值多少钱的变量。现阶段最务实的做法是：今天就把这行写上，同时别删旧规则，别停谈判，别以为写完就万事大吉。

草案细读：五个最容易写错的细节

第一，通配符组不算数。很多人习惯在 robots.txt 开头写一个 User-Agent: * 的通用组，以为它能覆盖所有后来者。草案明确说了不行：只有明确写了 __usage_ai-training 这一行的组，才算表达了训练偏好。想用这个信号，就必须单独写一组，不能偷懒复用通配符。第二，大小写不敏感，但拼写必须精确。策略 token 按产品 token 的规则匹配，字母、数字、下划线和连字符之外的字符都不行，开头的双下划线是防误撞的设计，少写一个下划线就等于没写。第三，路径越具体越优先。草案建议具体的表达优先于笼统的表达，所以整站 Disallow 再加个别目录 Allow 的写法是成立的，但顺序和最长匹配的规则仍然适用，写完之后最好用解析器实测一遍，别凭感觉。第四，抓取规则和用途偏好是两条平行线。就算你对某个爬虫写了 Allow，那也只是允许它来爬，不代表允许它把内容用于训练；反过来，表达了训练偏好，也不等于禁止爬虫访问。两套语义混在一起，是最常见的理解错误。第五，私有协议优先。如果你和某家厂商单独签了数据使用协议，协议的约定可以覆盖这个公开信号。公开文件写的是给全世界的默认立场，私下合同写的是个案约定，两者冲突时以后者为准，签约前务必核对自己的 robots.txt 有没有和合同打架。

出版商的另一本账：退出有没有代价

微软和谷歌在各自的说明里都提了一个让出版商不太舒服的提醒：选择退出训练，可能会降低内容在 AI 应用和 AI 体验里出现的机会。这不是威胁，而是一次诚实的利益交换：当模型不能用你的内容训练，它在回答相关问题时引用你的可能性也会下降。对靠搜索流量吃饭的网站来说，这笔账要算清楚。完全拒绝训练，换来的是确定性；保持开放，换来的是曝光和引用。没有标准答案，只有取舍。一种更精细的做法是分层：把时效性强、靠流量变现的快讯和教程保持开放，把深度调查、独家数据、付费墙内的核心资产列为拒绝。分层的前提是你的 robots.txt 能按路径表达偏好，而这正是新信号比整站开关高明的地方。还有一层是谈判筹码：当所有中小网站都能用一行代码表达立场时，集体退出的威胁才变得可信，单个网站不再需要靠“闹大”才能被听见。这个信号的真正价值，可能不在于它挡住了多少次抓取，而在于它让“不”这个字第一次变得便宜、标准、可统计。

上线前检查清单：写完别急着走

如果你打算今天就用上这个信号，建议按这张清单走一遍。先备份现有的 robots.txt，改动前留一份带日期的副本。写上 __usage_ai-training 组，整站拒绝就写 Disallow: /，部分开放就把 Allow 的目录逐一列清。保留所有旧的厂商爬虫规则，新旧并存至少一个季度，等各家实施进度明朗后再考虑精简。用在线 robots.txt 解析器或者自己写个小脚本验证：解析器是否把你的 token 组识别出来、路径匹配是否符合预期、通配符组有没有被误当成偏好。改完之后用 curl 拉一次线上的 robots.txt，确认部署生效的确实是你改过的版本，而不是缓存里的旧文件。最后把这次改动的日期、版本号和快照存进项目文档，因为偏好的效力是按抓取时生效的版本判断的，万一将来出现争议，这份记录就是你的时间证人。做完这六步，这个信号才算真正落了地，而不是只写在文件里自我安慰。

如果 2027 年它烂尾了，该怎么办

任何一个靠厂商自觉执行的信号，都有烂尾的可能。判断它是不是在往实处走，可以盯三个可验证的指标。第一个是实施报告：各家公司是否按自己承诺的时间点上线了对这个 token 的解析，并在官方文档里写明了解析规则，而不是只发一篇博客就了事。第二个是覆盖范围：Meta 是否从“表示支持”走到“承诺实施”，以及其他有训练需求的公司是否跟进，因为信号的价值随参与厂商的数量递增，缺了任何一家头部公司，网站主就还得回去维护旧名单。第三个是标准进程：这份 2026 年 10 月 30 日的草案能不能在 2027 年 5 月 3 日过期之前推进到下一步，还是过期之后无人续写、无声无息地消失。草案过期本身不等于失败，标准工作经常一稿接一稿，但如果过期后没有任何后续动作，那就说明共识已经散了。对网站主来说，应对烂尾的办法不是焦虑，而是分层设防：公开信号照写，旧的厂商规则照留，核心资产的授权谈判照谈，付费墙和访问控制这些硬手段也别因为有了一个软信号就拆掉。软信号负责降低表达成本，硬手段负责守住底线，两者本来就不是互相替代的关系。最后还有一句提醒：别把 robots.txt 当成法律文件来写，也别把它当成摆设。它是互联网运行了三十年的君子协定，新信号延续的正是这个传统——先把话说清楚、说标准，至于对方做不做，历史会一笔一笔记下来。

一句话总结：2026 年 10 月 30 日，四家 AI 巨头第一次同意用同一句话来听网站主说“不”。这句话今天就能写进你的 robots.txt，但它真正生效的日期，要到 2027 年才能逐家兑现。写上它，留着旧规则，盯着时间表，这就是目前最不坏的做法。

附：给 vibe 项目的内容资产盘点法

很多独立开发者第一次认真想这个问题时，会发现自己根本说不清站上到底有哪些值得保护的内容。建议按三类盘点一遍。第一类是自己写的公开内容：博客文章、产品文档、教程、更新日志，这些是你最有理由表达偏好的部分，也是新信号最直接的适用对象。第二类是用户产生的内容：评论、投稿、社区帖子，这类内容的权利归属往往不在你手里，替用户一刀切地拒绝之前，先看看你的用户协议是怎么写的，别用一句 robots.txt 越俎代庖。第三类是已经用开源许可证放出去的代码和文档：许可证本身已经允许了广泛使用，再叠加一个训练偏好信号，法律效果是模糊的，更多是表达一种态度，写之前要想清楚你到底想达到什么效果。盘点完这三类，再决定哪些路径 Disallow、哪些 Allow，写出来的 robots.txt 才不是照搬模板，而是一份真正属于你的立场声明。这份声明不需要写得慷慨激昂，它只需要准确、具体、可验证——而这，恰恰是新信号被设计出来的初衷。

写到最后，值得再强调一次这个信号的定位：它不是盾牌，而是一句被标准化的“不”。盾牌要靠法律、技术和谈判一层层叠出来，但如果连“不”都说不清楚、说不标准，后面的每一层都无从谈起。从这个意义上说，2026 年 10 月 30 日的真正意义不在于四家公司承诺了什么，而在于全网的网站主第一次拥有了一个统一的说法。先把这句话写进你的 robots.txt，剩下的，交给 2027 年的时间表去验证。

而验证的办法也很简单：定期检查各家官方文档里的实施状态，并且把每一次检查的日期记下来。