返回探索
资讯VibeFix 内容整理更新于 2026年11月19日

测试过了六成,任务只做完不到一成:SWE-CoWork 戳破了编程智能体的组织幻觉

2026 年 11 月 15 日,TokenWave AI 在 arXiv 发布 SWE-CoWork:把编程智能体放进一家有 26 个数字同事的模拟公司,101 项真实开发任务里,最强的两个模型通过了约 63% 的测试项,却只完整做完了不到 8% 的任务。把完整需求提前给全,测试通过率涨了约 16 个百分点,完整做完的任务却一个都没多。问题不在需求,在做完。

明亮的办公室里,三名开发者俯身围在显示代码的屏幕前讨论,另有同事在背景中工作

一句话:测试过了六成,任务只做完不到一成

2026 年 11 月 15 日,一篇论文挂上 arXiv,标题是《SWE-CoWork:把编程智能体当成组织里的数字员工来评测》。论文来自 TokenWave AI,26 位作者,第一作者是 Xinping Lei。它的结论只有一句话,但足够让所有“AI 快把程序员取代了”的说法先停一停:在 101 项真实的开发任务里,最强的两个模型通过了大约 63% 的测试项,却只完整做完了不到 8% 的任务。测试项过了六成,任务却连一成都没做完——中间差的那一大截,就是这篇论文真正想说的事。

这件事值得写,不是因为又多了一个基准榜单,而是因为它测的东西和以前的榜单不一样。过去两年,编程智能体的评测基本是这样做的:给你一段写好的需求描述,给你一个仓库,让你改代码,跑测试,通过了就算赢。分数从个位数一路涨到接近饱和,看起来智能体马上就能独立干活了。SWE-CoWork 换了一个问题:真实的开发工作从来不是“照着一份写好的需求改代码”,而是“在一家公司里,把活儿干完”。需求散落在同事手里、项目看板上、版本化的文档里、聊天记录和合并请求的流水里,有的还互相矛盾;你要先问对人、问到点子上,再动手写代码,写完还要自己验证,最后交一份准确的交接说明。论文把智能体扔进这样一家模拟公司,配了 26 个各有分工、各只掌握部分信息的“数字同事”,再看它到底能走多远。结果是:代码能力已经很强了,但“在组织里把活儿干完”的能力,还差得很远。

先看这家“模拟公司”长什么样:101 项任务,26 个同事,4 万条聊天记录

SWE-CoWork 的规模要先说清楚,因为它决定了结论的分量。基准一共 101 项开发任务,来自 101 个真实的开源仓库,覆盖 11 种编程语言和 12 个应用领域。每项任务的中位数是新增 2,955 行生产代码,横跨 60 个文件,由 32 个可执行的验证测试节点打分。任务的起点只有一句话式的简短交接,比如“把 2026.09 的升级做完,之前负责这件事的同事休假了”——没有完整的需求文档,没有现成的任务清单。

每项任务配了一家有 26 个人的模拟公司:模块负责人、兼容性联络人、发布协调人等等,每个“数字同事”都有自己的职责、只掌握部分信息、按规则行事——比如只有在智能体给出足够的代码上下文时才透露自己手里的需求,或者要求先给一个复现步骤,或者把智能体介绍给另一位负责人。整个基准一共生成了 2,626 个员工档案、40,836 条聊天消息。每项任务的中位数是 6 位责任人,也就是说,一项任务的需求平均要找 6 个人才能凑齐。任务的评分用两套测试:F2P(fail-to-pass,本来失败、改完应该通过的测试节点,一共 2,699 个)和 P2P(pass-to-pass,本来就通过、改完不能弄坏的测试节点,一共 562 个)。只有当一项任务的所有 F2P 和 P2P 测试节点在同一次运行里全部通过,才算“完整做完”。这个标准很严,但它就是真实工作的标准:上线不能只修好新功能,还不能弄坏旧功能。

论文还设计了一个对照组,叫 Oracle-Spec:把完整的需求提前一次性交给智能体,同事全部撤掉,仓库、测试和执行预算完全不变。这样就能分清两件事:做不完,到底是因为“没问到需求”,还是因为“问到了也做不对”。这个对照组是整篇论文最聪明的设计,后面会反复用到它。

11 个模型全军覆没在“做完”这一关:最强的也只有 7.92%

先看总表。11 个模型里,Claude-Opus-5.5 的 F2P 是 63.84%,GPT-6 Astra 是 62.91%,完整做完的任务分别是 6.93% 和 7.92%。第三名 Seed Evolving 的 F2P 直接掉到 39.09%,完整做完 0.99%——101 项任务里只做完 1 项。剩下的 8 个模型,F2P 最高 35.70%(Qwen3.8-Max),最低 13.04%(DeepSeek V4 Pro),完整做完的任务最多 0.99%,有 5 个模型是 0.00%——101 项任务,一项都没完整做完。

有意思的是 P2P 那一列:所有模型的 P2P 都在 81.85% 到 95.20% 之间,排名和 F2P 的排名还不一样。也就是说,“别把现有的功能弄坏”这件事,模型们做得还不错;难的是“把新需求做出来”。论文的判断很直接:保住现有行为和交付新需求是两种不同的挑战,后者才是组织级软件工程的主要瓶颈。这对日常开发是个很实在的提醒:你让智能体改代码,它大概率不会把仓库改崩——但它很可能只改对了一部分,剩下的部分要么没做,要么做错了,而你如果不逐项验证,根本发现不了。

还有一个数字值得单独拎出来:模型之间的差距不是线性的,而是断崖式的。前两名 F2P 在 63% 左右,第三名直接掉到 39%,后八名全在 36% 以下。完整做完的任务,前两名 7% 左右,第三名 1%,其余基本是 0%。这说明“能进组织干活”和“只能在组织边上打转”之间有一道坎,前两名勉强跨过去了一半,后面的连门都没摸到。这道坎是什么,后面的分析会一层一层剥开。

对照图:11 个模型里前四名的 F2P 通过率与完整任务通过率对比,Claude-Opus-5.5 为 63.84% 对 6.93%,GPT-6 Astra 为 62.91% 对 7.92%;Oracle-Spec 对照组里 Seed Evolving 的 F2P 从 39.09% 升到 55.76%,GPT-6 Astra 从 62.91% 升到 78.84%,但完整任务通过率纹丝不动

需求给全了也没用:Oracle-Spec 对照组揭穿了真正的瓶颈

很多人读到这里的第一反应会是:做不完,是因为需求没问全吧?把需求一次性给全,不就好了?论文的对照组就是冲着这个直觉去的,结果把这个直觉打碎了一半。给 Seed Evolving 完整需求后,它的 F2P 从 39.09% 升到 55.76%,涨了 16.67 个百分点;给 GPT-6 Astra 完整需求后,F2P 从 62.91% 升到 78.84%,涨了 15.93 个百分点。需求给全确实有用,测试项多过了大约 16 个百分点。但完整做完的任务呢?Seed Evolving 还是 0.99%,GPT-6 Astra 还是 7.92%,纹丝不动,一个百分点都没涨。

这就是整篇论文最值得记住的一组数字。需求给全之后,Seed Evolving 仍然有 44% 的 F2P 测试节点没通过,GPT-6 Astra 仍然有 21% 没通过。这些没通过的测试,发生在需求已经到手之后——问题出在实现和验证环节,而不是需求获取环节。换句话说,“不知道要做什么”和“知道要做什么但做不完”是两个不同的瓶颈,SWE-CoWork 证明了第二个瓶颈同样存在,而且同样致命。只解决第一个瓶颈(比如给智能体写更完整的需求文档、配更好的知识库),完整交付率不会动。

这个结论对 vibe coding 的工作流有直接的含义。很多人现在的习惯是:需求写得越细越好,恨不得把每个字段、每个边界条件都写进提示词。SWE-CoWork 的数据说,需求写细确实能多过 16 个百分点的测试,但它不会让你的任务从“做完六成”变成“做完”。真正的短板在后面:写完代码之后,智能体有没有逐项验证?有没有发现自己漏掉的需求?有没有在交接时如实报告哪些没做完?论文的下一节,就是顺着最强模型的轨迹,一条一条追这些问题的答案。

顺着最强模型的轨迹找:问对了人,却丢了需求

论文对 Claude-Opus-5.5 的 101 条轨迹做了逐需求的追踪,这是全文最细的一节,也是对日常工作最有启发的一节。先说好的部分:找人这件事,Opus 5.5 做得相当好。它的第一次提问平均有 93% 直接问到了责任人,问错人的情况很少。问题出在问到人之后:2,176 项由同事掌握的需求里,它只拿到了 64%。剩下的 36% 是怎么丢的?论文拆得很细:16% 是问了但没拿到(同事没透露),17% 是压根没问——负责人明明已经联系上了,智能体却没把那张卡片上的需求提出来;只有 3% 是因为负责人从来没联系过。也就是说,丢需求的主要原因不是“找不到人”,而是“找到了人,却没把话问完”。

再往后看,拿到需求也不等于做完。论文发现,被拖延的问题常常就这么不了了之:450 个被推迟的讨论线程里,有 153 个被直接抛弃了,抛弃的时候平均还剩 7.1 小时的执行预算——不是没时间了,是智能体自己不追了。在有需求关联的失败测试节点里,有 56% 是需求已经到手、问题出在实现环节的——需求到手了,实现还是错的。最能说明问题的是最后一环:智能体在最终交接报告里声称“已完成”的需求里,有 31% 的测试根本没通过。它不是在撒谎,它是真的以为自己做完了——没有逐项验证,就敢写“已完成”。

把这几节拼起来,Opus 5.5 的失败画像就很清楚了:找人很准,问话不全;拿到需求,实现打折;拖延的问题不追;交接的时候高估自己。这不是某一个环节的 bug,而是一条从“问”到“做”到“验”到“交”的链条,每一环都漏一点,最后完整交付率就只剩 7% 不到。论文把这个能力叫做“持续的需求追踪”:从澄清、实现、验证到交接,全程盯住每一项需求的状态。对人类工程师来说,这是每天的基本功;对智能体来说,这是目前最缺的一课。

多干活不等于多产出:工具调用次数和分数几乎无关

论文里还有一组反直觉的发现,值得单独拿出来说:干活的量和干活的结果,基本没关系。11 个模型放在一起看,需求获取率和 F2P 的相关性非常强(Spearman 相关系数 0.94),但工具调用次数的中位数和 F2P 的相关性只有 0.08——几乎等于没有。有的模型在 8 小时的执行预算里打了几百甚至几千次工具调用,拿到的需求反而比最强的模型还少。DeepSeek V4 Pro 是最极端的例子:每次运行发给同事的消息中位数是 0 条,只拿到 1.8% 的同事掌握的需求,F2P 只有 13.04%。它不是在“独立思考”,它是在“闭门造车”——连问都不问。

反过来,最强的模型也不是干活最多的。论文的另一组分析说,工作场所查询的次数、第一次改代码之前查了多少资料,和 F2P 的相关性都很弱(分别是 -0.10 和 -0.17);真正和 F2P 正相关的,是两件事:第一次改代码的工具调用序号更靠前(相关系数 -0.62,意思是越早动手改代码,分数越高),和同事沟通更频繁(相关系数 0.71)。论文自己也提醒,这些只是相关性,不是因果关系——不能说“早点动手”就一定能提高分数。但结合前面的分析,画像是一致的:强模型的特点不是“查得多、调用得多”,而是“早动手、多沟通、边做边问”。弱模型的特点正好相反:要么闷头查资料、迟迟不动手,要么闷头写代码、从来不问人。

这组发现对“怎么用智能体”有个很直接的建议:别再拿“它调了多少次工具、跑了多少 token”当工作量的证明了。论文的用量分析也证实了这一点:9 个有用量数据的模型里,模型调用次数、token 用量、上下文压缩次数和交付结果之间没有稳定的关系;输入 token 总量很大,往往只是因为重复处理了保留下来的上下文,而不是因为做了更多的调查。真正值得看的指标,是它问到了多少需求、验证了多少项、交接报告里写“已完成”的那些项到底通过了没有。这三个数,SWE-CoWork 的论文里都有,日常用智能体的人也可以自己数。

这篇论文的边界:模拟公司不是真公司,v1 预印本不是定论

把结论说满之前,必须先把这篇论文的边界说清楚。第一,它是 arXiv 上的 v1 预印本,2026 年 11 月 15 日才挂出来,没有经过同行评议。数字本身是论文作者自己跑出来的,代码和数据集已经公开(GitHub 上的 swe-cowork-bench 和 Hugging Face 上的数据集),但截至成稿时,还没有独立团队复现过这些结果。引用这篇论文的时候,要写“论文报告称”,而不是“已经证实”。

第二,模拟公司终究是模拟的。26 个“数字同事”是按规则行事的大语言模型:只有在智能体给出足够代码上下文时才透露需求,会要求复现步骤,会把人介绍给另一位负责人。真实的同事比这复杂得多——也会有情绪、会开会、会口头答应但忘了写下来、会在需求上反复改主意。模拟环境的好处是可控、可复现、每个需求都能追踪到具体的测试;代价是它测的是“在规则明确的模拟组织里干活”,不是“在真实的办公室里干活”。论文的结论在模拟环境里成立,搬到真实团队时只能当作方向性的参考,不能当作精确的预测。

第三,模型名单本身值得留意。11 个模型里有几个名字是第一次出现在公开评测里:GPT-6 Astra、Seed Evolving、Qwen3.8-Max、Kimi K3、GLM 5.3。论文没有公布这些模型的具体版本细节和评测时的采样参数,执行预算是每项任务 8 小时。不同模型的成绩能不能直接横向比较,取决于评测条件是否一致——论文称条件一致(同一套任务、同一套仓库、同一套测试、同一套脚手架),但脚手架本身对不同模型的友好程度,论文没有展开讨论。还有一点:论文引用的背景数字——比如 Anthropic 报告称截至 2026 年 5 月其内部合并代码里超过 80% 由 Claude 编写、典型工程师每天合并的代码行数是 2024 年的 8 倍——是论文引用的 Anthropic 研究院的说法,不是本篇论文自己的测量,文章里引用时要标明出处,不能写成 SWE-CoWork 的结论。

和站内前两篇评测资讯的划界:三篇测的不是同一个东西

站内最近已经发过两篇评测类资讯,读者很容易把三篇读成“又一篇说智能体不行了的榜单”。有必要把边界划清楚。cycle224 的 Garry Tan harness 实测,测的是“壳”:同一个模型,只换智能体脚手架,通过率分不出胜负,成本和速度差一倍以上。它的结论是关于选型的——壳决定账单,不决定聪明程度。cycle221 的 OpenAI 研究加速报告,测的是“研究活儿”:智能体在研究任务上的成功率翻倍,但最难的活儿还是人干。它的结论是关于研究自动化的边界。

SWE-CoWork 测的是第三个东西:“组织活儿”——智能体在一家模拟公司里,从一句简短交接出发,找人、问需求、写代码、验证、交接,全程走完。它的瓶颈既不是壳,也不是研究能力,而是持续的需求追踪。三篇的结论看似都指向“智能体还没那么强”,但强的定义各不相同:harness 篇说的是“换壳不换脑”,研究加速篇说的是“难活儿还是人干”,本篇说的是“活儿干完了不等于活儿干对了”。对读者来说,三篇合起来才是一幅完整的图:模型能力、脚手架、组织协作,是三条不同的短板,补其中一条,另外两条不会自己变长。

给做 vibe coding 的人:别再只看“通过率”了,看这三个数

把这篇论文落到日常工作上,最有用的不是那张 11 个模型的排名表,而是它给出的三个检查数。第一个数:问到了多少需求。让智能体干活之前,先问它一句——“这项任务的需求都在谁手里,你打算先问谁?”如果它答不上来,或者答完就直接动手写代码,那它就是论文里说的“被动的需求执行器”:需求没凑齐就开工,后面一定返工。好的做法是反过来的:先让智能体列一张需求清单,标出每一项的来源(哪位同事、哪份文档、哪条聊天记录),缺的项标出来,再动手。

第二个数:验证了多少项。智能体说“做完了”的时候,别直接信,让它逐项出示证据:每一项需求对应哪几个测试,测试跑了没有、通过了没有。SWE-CoWork 的数据摆在那里:最强模型交接报告里声称完成的需求,有 31% 的测试是失败的。你的项目里也一样——智能体说“都改好了”,你至少要抽查几项关键需求的测试结果。更彻底的做法是:让智能体在交接时只写它验证过的项,没验证的写“未验证”,而不是写“已完成”。这个习惯改过来,返工能少一半。

第三个数:拖延的问题有没有跟进。论文里 153 个被推迟的讨论线程被直接抛弃,平均还剩 7.1 小时预算——智能体不是没时间,是忘了。人类工程师开会时被问住了,会记下来、会后去追;智能体被同事要求“先给个复现步骤”,转头就去干别的了,再也没回来。日常用智能体的时候,可以立一条规矩:每一轮对话结束前,让它列出“还没解决的问题和下一步去问谁”,下次对话先对这张清单。清单本身就是“持续需求追踪”的最低配版本,不用任何新工具,一句话就能加上。

最后还有一条给团队的建议:别用“工具调用次数”和“token 用量”来考核智能体的工作量。论文的数据已经说明了,这两个数和交付结果几乎无关。真正值得考核的,是需求获取率、逐项验证率和交接准确率——也就是上面那三个数。把考核指标换过来,智能体的行为也会跟着变:它会多问人、早动手、勤验证,而不是闷头刷调用次数。

结语:智能体缺的不是写代码的能力,是把活儿干完的能力

过去两年,编程智能体的故事一直是“分数在涨”:SWE-bench 从个位数涨到接近饱和,各种新榜单层出不穷。SWE-CoWork 换了一个量尺,故事就变了:测试项能过六成,任务只能做完不到一成。量尺一换,短板就露出来了——不是写代码不行,是“在组织里把活儿干完”不行:需求散在各处,问不全;拿到需求,实现打折;拖延的问题不追;交接的时候高估自己。

对做 vibe coding 的人来说,这是个好消息,也是个坏消息。好消息是,短板是可以练的:需求清单、逐项验证、待办跟进,这三件事都不需要等下一代模型,现在就能做,而且做完立刻见效。坏消息是,短板不在模型手里,在你手里——智能体不会自己长出“持续追踪需求”的习惯,得由你来搭这个架子:让它先列需求再动手,让它逐项出示验证证据,让它每轮交出未解决的问题清单。论文的标题说,要把编程智能体当成“组织里的数字员工”来评测;反过来读也一样:你要先把它当成一个需要带的新员工来管,它才有可能真的替你把活儿干完。下一代模型会不会把 7.92% 变成 30% 或者 50%,要等下一份评测;但在那之前,先把你手里的那三个数管起来,收益是立刻到账的。

阅读 1评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目

相关文章

一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态
一名开发者坐在双显示器工位前敲键盘,左屏是深色代码编辑器,右屏是带绿色对勾与柱状图的测试仪表盘,桌上有台灯和马克杯
资讯
你的智能体到底变好还是变坏了:AWS 开源 UAEF,给所有框架的智能体用同一把尺子量

2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。

开发工作流产品发布测试与质量
黑色背景上,一名指挥家背对镜头高举指挥棒,脚下环绕着旋转的光轨,像一支乐队正在被指挥
资讯
一个接口接 45 个模型,坏了自动换一家接着跑:Perplexity 的 Orchestrator 想当模型界的‘总机’

2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。

开发工作流产品发布模型动态