返回探索
资讯VibeFix 内容整理更新于 2026年11月20日

一千七百次调查,只原样合并了十五个修复:OpenAI 的 Performance Factory 讲了 Agent 的实话

2026 年 11 月 19 日,OpenAI 披露了内部系统 Performance Factory:Codex 智能体自动调查 ChatGPT 的性能回退,三个多月跑了超过 1700 次调查、找到 600 多个根因。但最终原样合并的修复只有 15 个左右——Agent 已经能把调查的活儿接过去,修复还得有人兜底。

一名戴眼镜的工程师背对镜头,盯着两块显示服务器指标与四大黄金信号仪表盘的屏幕,延迟表显示 150 毫秒、错误率 0.2%

一句话:ChatGPT 变慢了,先让 Agent 查,再让人拍板

2026 年 11 月 19 日,OpenAI 对外披露了一个内部系统,叫 Performance Factory(性能工厂)。消息的出口是 VentureBeat 的独家报道,依据是 OpenAI 分享给这家媒体的一份工程报告,加上 OpenAI 性能团队直接给出的说明,OpenAI 的开发者账号 @OpenAIDevs 同日也发了相关帖子。这个系统干的活儿很具体:用 Codex 智能体自动调查并缓解性能回退(performance regression)——也就是一次更新之后,服务比以前变慢了。系统已经在内部跑了三个多月,管的就是 ChatGPT 的速度。

先报三组数字,因为整篇的判断都挂在这三组数字上。三个多月里,系统跟踪了超过 1700 次调查,平均每天约 17 次;其中找到根因的超过 600 起;找到根因的里面,大约 400 起推进到了“提出修复方案”;最终真正上线、并且受到智能体建议影响或与之吻合的修复,大约 50 个;其中原样采用 Codex 写的拉取请求(pull request)的,只有 15 个左右。1700、600、400、50、15——这条漏斗就是这篇新闻的核心:Agent 已经能把调查的活儿接过去,但把修复原样交出去,还差得很远。OpenAI 自己也承认,这个结果离他们对“自动修复”的期望还有距离。

它是怎么长出来的:从人工查日志,到 Agent 自己跑流程

Performance Factory 不是凭空立项的,它是从性能团队每天的苦活里一步一步长出来的。最开始是纯人工:服务一变慢,工程师就去翻日志、看调用链、找代码改动、到线上系统里调试。为了把这套活儿省力一点,团队做了 30 多个专用工具。Codex 出现之后,工程师可以反过来问它“服务为什么变慢了”,让 Agent 去翻日志、用工具给答案——但每一步还是要人来掌舵。

下一步是把调查方法本身写下来。团队把性能调查的流程写成了一个可复用的 Codex 技能,叫 perf-forensics,让 Agent 按同一套方法去复现调查。练熟之后,团队发现可以把告警直接交给 Codex,一次运行就能拿到诊断。但这时候工程师变成了“中间人”:把告警复制进 Codex,再把结论粘贴到 Slack 里。于是团队干脆把告警直接连到云端的 Codex 会话上,中间人这个环节就消失了。

可调查完还是要人来收尾:诊断要工程师复核,修复要工程师动手。而 ChatGPT 性能团队当时几乎每天都在处理新的回退,靠人盯着根本盯不过来。团队先建了一个回退跟踪系统来管工作量,随后意识到,每一个被跟踪的回退,都可以变成一个任务,让 Codex 自动去调查、推进到不同阶段——找根因、提修复、验证恢复。Performance Factory 的任务制架构,就是从这个想法里长出来的。

四个零件:任务、派发、云端执行、订阅

整个系统由四个部分组成,工程师定义流程、Agent 执行流程,人和机器的分工写在架构里。第一是任务服务(task service),存任务和进度;工程师用配置文件定义工作流,再用 Markdown 提示词写清每个阶段 Agent 要干什么。第二是派发循环(dispatch loop),定期检查任务,轮到哪一步就启动一次 Codex 会话、把任务交过去;Agent 干完活儿,把发现写回任务记录里。

第三是内部 API,让 Codex 在云端跑。Agent 在能访问 OpenAI 代码仓库和可观测基础设施的环境里工作,权限受控、操作可追踪。第四是订阅(subscriptions),把任务和外部事件连起来:比如 Agent 开了一个拉取请求、需要工程师评审,任务就暂停,等 GitHub 上有了评审反馈再继续;部署完成了,也会触发下一步。

任务本身的记录方式值得单独讲一句,因为它解决了一个多智能体系统里最常见的毛病:上下文越传越臃肿。任务记录里有一块自由文本,Agent 在里面留笔记,再加结构化元数据,比如回退什么时候开始、根因什么时候找到。Agent 不把大段性能分析数据原样抄进任务里,而是只记相关的指标、查询语句和高层结论;下一个接手的 Agent 需要验证时,可以自己把查询再跑一遍。这样,证据留下来了,上下文没被撑爆,后面的 Agent 还能复核前面的结论。OpenAI 把这条经验单独列为给企业团队的教训之一:保留证据,但别让证据压垮上下文。

对抗性复查:让另一个 Agent 来挑刺

系统里最有意思的设计,是“对抗性复查”(adversarial review)。团队发现,Agent 有时会在第一个看似合理的解释面前停下来,哪怕证据并不完全支持这个解释。于是他们加了一道工序:用一次全新的 Codex 会话来挑战原来的诊断。复查的 Agent 拿到完整的任务记录,但上下文是全新的;它的指令写得很明确:找诊断里的漏洞、核实支撑证据、测试别的解释。它的整个会话只干一件事,就是挑战前一个 Agent 的结论。

报道里给了一个具体例子。一次调查里,第一个 Agent 把 ChatGPT 对话失败归咎于图片下载出错;复查的 Agent 注意到,负责定位文件的内部服务其实已经恢复了,但图片请求还在继续失败——原来的诊断解释不了“还在失败”这个事实,于是调查被打回重做。复查刚上线时,被打回的诊断“数量可观”;团队用这些反馈改进了调查 Agent 的指令,被打回的比例随之下降;现在大约 25% 的诊断会被对抗性复查打回。

这个设计还有一层含义:它承认了 Agent 会“自信地错”。不是等用户发现错了再补救,而是在流程里放一个专门负责“不相信”的角色。后来团队把对抗性复查也加到了修复方案上——因为 Agent 有时会提出过于复杂的修复,或者修好一个问题又引入一个新问题。报道里举的例子是加缓存:响应是快了,但可能读到过期数据。复查修复方案,就是防这种“按下葫芦浮起瓢”的。

漏斗里的实话:1700 次调查,只有 15 个修复是原样合并的

把那组数字摊开,Performance Factory 的真实成色就清楚了。三个多月、超过 1700 次调查,平均每天 17 次——调查这个环节,自动化已经跑起来了。找到根因的超过 600 起,占比约 35%——也就是说,接近三分之二的调查,到最后也没锁定一个能站得住脚的根因。推进到提出修复方案的约 400 起,占调查总数的 24% 左右。最终上线、并且受到 Agent 建议影响或与之吻合的修复约 50 个,占 3% 上下;其中原样采用 Codex 所写拉取请求的,只有 15 个左右,不到调查总数的 1%。

漏斗图:Performance Factory 三个多月的调查漏斗,超过 1700 次调查中找到根因的超过 600 起(约 35%),推进到提出修复方案的约 400 起(约 24%),最终上线且受智能体建议影响的约 50 个(约 3%),原样采用 Codex 所写拉取请求的约 15 个(不到 1%)

这条漏斗要配着 OpenAI 自己的话一起读。性能团队承认,这些结果离他们对自动修复的期望还有距离;但他们也说,解决回退的大部分工作——发现它、找根因、跟踪进度、验证恢复——已经被自动化了,眼下优先要改进的是修复方案的质量。换句话说,系统最擅长的部分是“查”,最不擅长的部分是“改”。Codex 在原因明确、修复收敛的时候表现最好,报道里举的例子是:一次请求里把同一段对话序列化了好几次,Codex 能发现这种重复劳动,建议只序列化一次、复用结果。碰上复杂改动——比如新功能带来延迟、需要改架构——Agent 有时会提出过于复杂的修复,或者引入新问题,这正是修复方案要过对抗性复查的原因。

漏斗的尾巴还有两处细节值得记下来。第一,修复上线之后,另一个 Agent 会再检查一遍性能是不是真的恢复了;如果问题还在,任务会被送回重新调查——验证恢复也是自动化的,不是“提了修复就结案”。第二,团队还做了一套工作流评估集,计划用它来持续改进 Agent 生成的修复。也就是说,OpenAI 对这套系统的态度不是“发布了就完了”,而是“先让它跑起来,再拿评估集慢慢磨”。

评估这套系统本身,也是报道里值得多看一眼的部分。OpenAI 的做法是拿历史事件做回测:让 Agent 去复查以前真实发生过的性能事件,看它能不能准确判断问题什么时候开始、影响有多大、根因可能是什么。这个办法有一个天然的陷阱——事后收集到的信息可能会泄露正确答案,历史证据也可能过期,所以回测结果要小心解读,不能直接当成生产环境里的准确率。团队还把 Agent 生成的摘要单独拿出来评估:工程师能不能只看摘要就理解证据和建议的行动,而不用把原始输出翻一遍。摘要能不能让人看懂,是另一项独立的指标,和“诊断对不对”分开算。

这套评估思路对普通团队也有参考价值。让 Agent 干活之前,先想好怎么衡量它干得好不好:拿过去真实发生过的问题当考题,让 Agent 重新做一遍,对照当时的正确答案打分;摘要单独评,诊断单独评,别混在一起。没有这套东西,Agent 的改进就只能凭感觉——今天觉得它变聪明了,明天又觉得它退步了,拿不出一个能复现的说法。OpenAI 专门做了一套工作流评估集来磨修复质量,这个动作本身就说明:在 Agent 系统里,评估不是发布之后才想起来的事,而是系统的一部分。

人还在哪几个环节:拍板、部署、以及管 Agent 的 Agent

整条流程里,人没有退出,只是退到了几个关键点上。诊断通过对抗性复查之后,Codex 会写修复代码、开拉取请求,但代码能不能合进去,由工程师审阅之后决定。修复部署之后,Agent 检查恢复情况,但部署本身仍是工程师做的事。未来会不会变?OpenAI 说,他们正在研究 Agent 能不能在无人批准的情况下部署一些低风险的修复——用的是“正在研究”这个说法,不是“已经可以”。

人要处理的另一个问题是信息过载。系统刚跑起来的时候,工程师面前是一个装满调查结果的界面,得自己判断哪条重要。现在系统会把相关的事件归组、按估计的影响排序、生成带图表和指标的简短报告。OpenAI 把这条经验也写进了给企业团队的教训里,用的词是“避免 AI 疲劳”:凡是需要人复核 Agent 输出的地方,要把最相关的信息先递到人面前,别用一堆内容把人淹没。

还有一个容易忽略的环节:谁来管 Agent 自己。OpenAI 每天跑一个 Agent,专门检查最近的 Agent 日志,找反复出现的工具故障和权限问题;一旦发现某个问题反复卡住调查,Performance Factory 可以为此建一个任务、提出修复,再交给工程师复核。评估环节会检查这个改动是不是真的解决了问题。用一句话概括:系统里有一个 Agent,它的工作就是盯着别的 Agent 有没有掉链子。

这个背景还有一个数字值得提:据《The Pragmatic Engineer》9 月的报道,OpenAI 工程副总裁 Venkat Venkataramani 说,过去大约六个月里,构建、测试和发布软件的系统负载增长了约十倍。Agent 写代码的速度越快,性能团队要处理的变化就越多——Performance Factory 解决的,正是“Agent 让开发变快之后,性能维护跟不上”的那个缺口。这个背景是二手转述,写在这里是为了解释系统为什么会出现,而不是为它的效果背书。

和站内已发篇目的划界:这是内部运维系统,不是 Codex 新品,也不是基准论文

站内已经有好几篇 OpenAI 和 Codex 的文章,先把这篇和它们分开。第一篇是 11 月 2 日的 Pando:OpenAI 重写 Git 后端,那讲的是 Codex 把 Git 服务器压垮之后,OpenAI 造了一个新的存储层——是基础设施的发布。第二篇是 ChatGPT 与 Codex 从 12 月起共用一个用量池(11 月 2 日),那讲的是产品界面的合并和额度共享。第三篇是 OpenAI 的漏洞赏金(11 月 2 日),讲的是安全赏金规则。这三篇都和 Codex 有关,但没有一篇讲“Codex 在 OpenAI 内部怎么维护 ChatGPT 本身”。

还有一篇容易混淆的是 cycle225 的 SWE-CoWork:那是一篇基准论文,用 487 条消息和 36411 次工具调用,测编程智能体当“数字员工”时组织协作行不行——结论是测试过了六成、任务只做完不到一成。那篇是论文、是评测、是“行不行”的判断;这篇是已部署的内部系统、是三个多月的生产数字、是“正在怎么干”的记录。一个讲的是实验室里的测量,一个讲的是生产环境里的运转,读法完全不同。

另外,Dots 和 Duet 也不一样。那两个是面向用户的常驻智能体,主动找人、帮人处理日常工作;Performance Factory 是不露面的内部系统,没有用户界面、没有对话入口,它的用户是 OpenAI 自己的性能工程师。把它和 Dots、Duet 放在一起比较,等于拿后台的运维系统和前台的助手产品比——比的不是同一个东西。

给用 Agent 做项目的人:这套东西里有四样能直接抄走

Performance Factory 对普通团队的价值,不在于你能不能也建一个“性能工厂”,而在于它把四条经验写成了可以抄走的做法。第一条是“把调查方法写成技能”。OpenAI 的 perf-forensics 就是一份写下来的调查流程,Agent 照着它复现调查。对小团队来说,这一条最容易落地:把你排查性能问题时翻日志、看调用链、对照部署记录的步骤写成一份 Markdown,让 Agent 照着跑——下次再遇到同类问题,Agent 不用从头摸索,你也不用每次都手把手教。

第二条是“让另一个 Agent 来挑刺”。对抗性复查的成本是一次额外的会话,收益是把“第一个看似合理的解释”挡在合并之前。小团队不一定养得起两套 Agent,但可以在关键结论上加一道人工复核:让 Agent 交出诊断时,同时交出它排除了哪些别的解释、每个解释是被什么证据排除的。排除了什么,和找到了什么一样重要——这篇报道里那个图片下载的例子,错就错在没人问一句“别的解释排除了吗”。

第三条是“任务记录里只留能复现的证据”。OpenAI 的做法是记指标、记查询语句、记高层结论,不抄大段原始数据;下一个 Agent 想验证,自己把查询再跑一遍。团队内部的 Agent 交接也可以照这个办法:交接文档里写“查了什么、结论是什么、用什么能复现”,而不是把几千行日志原样贴过去。上下文省下来了,结论还能复核。

第四条是“给 Agent 的输出排优先级”。工程师每天要看的调查结果,先按影响排序、归组、配上简短报告和图表,而不是把原始输出直接倒给人。这条对任何让 Agent 批量干活的团队都适用:Agent 一天能产出的东西比人一天能看完的多得多,不先排序、不做摘要,人就会被 Agent 的产出淹没——OpenAI 用的词是“AI 疲劳”,这个词值得每个用 Agent 的团队记住。

结语:Agent 的下一站,是维护,而不是创造

Performance Factory 真正值得注意的地方,不在那 1700 次调查,也不在 15 个原样合并的修复,而在它标志的方向变化。过去一年,编码智能体的故事主角一直是“创造”:写代码、做应用、搭产品。Performance Factory 的主角是“维护”:查变慢的原因、跟踪回退、验证恢复、把经验沉淀成可复用的工作流。创造是看得见的,维护是看不见的——但一个系统跑起来之后,维护才是占时间最多的那部分。

OpenAI 在这篇披露里没有夸大其词,这本身就值得注意。1700 次调查、600 多个根因、400 个修复方案、50 个受影响的上线修复、15 个原样合并——这组数字是诚实的,它说明 Agent 在“查”上已经能顶用了,在“改”上还得有人兜底。对做 vibe coding 的人来说,这个判断有一个很实际的含义:你用 Agent 做出来的东西,迟早要有人(或者有另一个 Agent)来维护。写出来只是第一步,跑下去、变慢了能查出来、查出来能修好,才是产品能不能活下来的关键。Performance Factory 回答的不是“Agent 能写多快”,而是“Agent 写出来的东西,变慢了怎么办”——这个问题,迟早会落到每一个用 Agent 做项目的人头上。

阅读 1评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目

相关文章

一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态
一名开发者坐在双显示器工位前敲键盘,左屏是深色代码编辑器,右屏是带绿色对勾与柱状图的测试仪表盘,桌上有台灯和马克杯
资讯
你的智能体到底变好还是变坏了:AWS 开源 UAEF,给所有框架的智能体用同一把尺子量

2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。

开发工作流产品发布测试与质量
黑色背景上,一名指挥家背对镜头高举指挥棒,脚下环绕着旋转的光轨,像一支乐队正在被指挥
资讯
一个接口接 45 个模型,坏了自动换一家接着跑:Perplexity 的 Orchestrator 想当模型界的‘总机’

2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。

开发工作流产品发布模型动态