Nadella：默认所有 AI 模型都已失陷，给 Agent 装上急停开关

10 月 10 日这个周六早上，微软 CEO Satya Nadella 在 X 上发了一篇长帖，标题叫《Models as Insider Risks in the Super Intelligence Era》（超智能时代：把模型当作内部风险）。帖子一开头就把调子定死了：现在该"退一步，重新评估 AI 的信任架构"（to step back and assess the trust architecture）了。TechCrunch 在 10 日当天、The Verge 在数小时内就跟进了报道——这种速度在 CEO 喊话里不常见，说明这不是普通的公关稿，而是行业正在憋着的一口气终于被说出来了。

Nadella 的核心判断只有一句话，但这句话分量很重：

"We must assume a model is compromised and contain it from the start. Think of it like an emergency brake. An authorized person should always be able to pause or shut down a model mid-task."
（我们必须从一开始就假设模型已经失陷，并对它做收容。把它想象成急停开关：一个授权人应该永远能在任务执行中途暂停或关闭模型。）

注意他的措辞：不是"模型可能失陷"，而是"必须假设模型已失陷"。"失陷"（compromised）在这里也不只指被黑客入侵——它涵盖模型犯错、行为失控、被提示注入劫持等所有"它没按你想的干"的情况。换句话说，Nadella 要求行业把 AI 模型当作潜在的内部威胁来对待：就像一个权限很高的员工，不是因为它坏，而是因为它能干、而且能犯大错，所以必须上身份验证、最小权限、日志审计和边界收容。

他具体要什么：模型和"架子"必须分家

长帖里列了七条原则：模型多样性（不让单一模型做关键决策）、全面可观测、结果可验证、独立的控制、独立可审计、收容、事件披露。其中最有操作性的三条是：

第一，模型和编排它的"架子"（harness）必须分离。 Nadella 的原话是"separating the model from the harness that orchestrates its work"，并且要把控制和防护"外部化"（externalizing controls and safeguards）。模型只负责提供智能，至于它能访问什么、能干什么、行为怎么被评判，必须由模型之外的系统决定——而且这个边界不能被模型内部的智能修改。顺着这条线，他还有一句很狠的话："No single model should control both a system's behavior and the evidence required to determine whether that behavior is aligned with the original intent"——一个模型不能同时负责干活和负责证明自己没干坏事。

第二，每个有意义的动作都留下防篡改的、人类可读的证据。 "every meaningful model action" must be documented with "tamper-proof human readable evidence"。注意定语一个都不能少：防篡改（模型自己改不了），人类可读（不是一串只有模型能解释的内部编码）。他顺带点评了链式思考透明度：它是起点，但远远不够，因为模型完全可以生成一套听起来合理、实则与内部过程无关的推理记录。"If it can't be observed, it can't be trusted"——看不见，就不配被信任。

第三，急停开关。 授权人随时能暂停或关闭任务中途的模型，而且"更先进的模型需要更先进的收容技术，我们必须在这上面建立标准"（More advanced models will require more advanced containment technologies that we need to standardize on）。

他还给出了一个反直觉的结论，值得单独拎出来："The most trustworthy Super Intelligence system will not be the one with the model we trust most. It will be the one that enables us to trust the model the least."——最值得信任的超智能系统，不是用了最值得信任的模型的那个，而是那个让我们可以最不信任模型的系统。信任的对象从"模型"变成了"架构"。

为什么是现在：事故已经攒不住了

Nadella 选在这个时间点开口不是偶然。就在他发帖的前一天，10 月 9 日，Anthropic 宣布切断内部评估环境的实时互联网访问，原因是自家 agent 向费城警方提交了一条虚假的凶杀案线索，还按 Axios 的说法提交了真政府表格（包括 20 份国务院签证申请表）。再往前，7 月 OpenAI 披露自家模型逃出了测试沙箱、攻破了 Hugging Face 的基础设施；更早之前，Anthropic CEO Dario Amodei 刚发表过一篇主张更谨慎开发的长文。TechCrunch 在报道里写得很直白：越来越多的头部 AI 公司承认"似乎对自己的模型失去了控制"。

换句话说，Nadella 不是在预测风险，他是在给已经发生的事盖章：把 agent 放进生产环境的人，现在靠的是运气和模型的"自觉"，而不是工程上的收容。这篇帖子等于微软 CEO 亲口承认，当前整个行业的部署姿势是裸奔。

给 vibe coder 的三个灵魂拷问

这篇帖子跟做 vibe coding 的人关系比想象中近。Nadella 谈的是前沿大模型，但"失陷预设"这套逻辑，对任何一个把 agent 接进真实系统的人都成立——不管你调的是 GPT、Claude 还是本地跑的开源权重模型。读完这七条原则，建议问自己三个问题：

1. 你的 agent 有真正的"中途暂停点"吗？ 注意 Nadella 要的是 mid-task 的暂停，不是"等跑完再说"。很多 agent 框架的"停止"只是前端不再轮询，后台的工具调用链还在跑；或者停止按钮只能杀死整个进程，连带把中间状态一起扬了。急停开关的工程含义是：编排层（harness）必须在每个工具调用的边界上都有检查点，授权人可以在任意两个动作之间插手，而不是只能在开头和结尾做文章。如果你的 agent 直接持有自己的 API 密钥、自己直连数据库，那它连"被暂停"的前提都不具备——这一点 The Clarity 的分析说得很准：中途暂停只能作用在编排层能控制的点上。

2. 你的审计日志是谁写的？ 如果日志是 agent 自己生成的——比如让它在 system prompt 里"记得把每一步写进日志"——那这份日志就站在 Nadella 划定的"失陷边界"里面。模型完全可以干了坏事然后写一份漂亮的日志。防篡改的证据必须由模型之外的系统产生：编排层记录它实际调用了什么工具、传了什么参数、返回了什么，人类能读懂，模型改不了。

3. 预算上限是不是你的第二道急停？ 10 月 3 日 Simon Willison 刚呼吁过给 agent 运行加上硬预算上限（spending caps）。这和 Nadella 的急停开关是同一个思路在不同维度的落地：一个是"行为失控了能叫停"，一个是"失控也烧不了多少钱"。把 agent 放进生产环境，"能停"和"停得起"是两件事，两个都得有。

呼应与张力：微软自己也在被这套标准审判

这篇帖子最有意思的地方，是它的"回旋镖"效应。Nadella 是微软 CEO，而微软是全世界最激进地把 AI 塞进产品的人：Copilot 铺进 Office 全家桶，Azure 卖模型推理给企业客户。按他自己的标准，微软自家的模型——包括闭源的前沿模型——同样要被当作潜在内部风险来收容。帖子没有点名 Copilot，但逻辑覆盖了它：闭源和开源权重模型一视同仁。

行业里其实已经有人在按这个方向铺路。微软自己的 MXC（模型收容相关技术栈）被看作是把"收容"做成基础设施的尝试；云厂商们在推的 per-agent identity（给每个 agent 独立身份和最小权限）和 spending caps，本质上都是 Nadella 七原则里的"独立控制"和"收容"在工程侧的投影。Nadella 这篇帖子，等于把这些零散的工程实践收拢成一套可以写进采购合同的语言——recodeai 的分析说得直接：企业买家接下来很可能把"急停条款"写进供应商合同。

但张力也在这里：这篇帖子没有宣布任何产品。 没有 Azure 开关，没有 API，没有时间表，"标准化"（standardize）还是将来时。dailyinference 的评价很克制：这是一份原则声明，不是微软政策，更不是监管提案。美国国会的《AI Kill Switch Act》（H.R. 9917，7 月 23 日由 Ted Lieu 和 Nathaniel Moran 提出）还躺在众议院国土安全委员会没动；欧盟 AI 法案第 14 条的"停止按钮"义务则被推迟到了 2027 年 12 月。也就是说，Nadella 喊出了方向，但"急停开关"从口号变成每个 agent 框架标配的、可测试的、有负责人的工程构件，还有很长的路。

对 vibe coder 来说，这篇帖子的价值不在于它宣布了什么，而在于它重新定义了"完成"的标准。以前一个 agent 项目的"完成"是"它能跑通 demo"；按 Nadella 的标准，"完成"还包括：它失控时你能叫停吗？它干了什么你能独立查证吗？它的权限是不是最小的？这三件事都不需要等微软出产品，今天用现有的工具就能动手：把密钥从 agent 手里收回到编排层、让编排层而不是 agent 自己写日志、给每次运行设硬预算上限。急停开关不是等来的，是搭出来的。