编码智能体指数 v2.0 换了一把更严的尺子：FrontierCode 取代 DeepSWE，Opus 5.5 以 61.7 领先

一把更严的尺子，而不是一群变差的模型

Artificial Analysis 在 2026 年 10 月 23 日发布了 Coding Agent Index v2.0。这一次最值得先说清楚的不是谁拿了第一，而是尺子本身换了：综合分里最能拉开差距的那条腿被换掉了，判分规则也被改严了。于是分数整体下滑，恰恰是这轮更新最诚实的地方——它没有假装模型退步了，也没有假装新旧分数可以直接比较。

先把结论放在前面。v2.0 的第一名仍然是 Claude Code 搭载 Claude Opus 5.5 的组合，综合分 61.7。但这个数字的含金量，必须和它的测量方式一起读：它是在一套更难、更贴近“能不能合入真实仓库”的规则下拿到的；而 20 个同时参加过新旧两个版本评测的配置里，有 20 个分数下降，平均分从 54.8 跌到 47.4。这不是一次集体滑坡，而是一次口径重置。任何把 v2.0 的 61.7 和 v1.5 时期的高分放在同一张表里比高低的解读，都是在拿摄氏度去比华氏度。

新指数由哪三条腿组成

v2.0 一共 290 项任务，由三项等权重的基准构成，每项基准的权重都是三分之一，与任务数量无关。每个基准的分数，都是每项任务三次尝试的平均值，再对任务取平均：

• FrontierCode v1.1：100 项任务，软件工程，由 Cognition 提供。这是本轮替换进来的新腿，取代了原来的 DeepSWE。它要求智能体直接修改真实开源仓库，然后按“维护者会不会合并这次改动”的标准打分，而不是只看测试通没通过。
• Terminal-Bench 4.0：66 项任务，终端智能体使用，由 Laude Institute 提供。这一腿在 v2.0 中没有改名、没有换题量，考的是在命令行环境里多步执行、调用工具、完成完整工作流的能力。
• SWE-Atlas-QnA-AA：124 项任务，仓库问答，由 Scale AI 提供、Artificial Analysis 调整了评分。它考的不是写补丁，而是读懂陌生仓库、追踪代码行为并给出正确的技术回答。

100 加 66 再加 124，正好是 290。这个结构本身就是一种判断：Artificial Analysis 认为“编码智能体”不是一个单一技能，而是改仓库、跑终端、讲清楚代码三件事的组合。一个只会在其中一件事上拿高分的智能体，不应该靠单项优势掩盖另外两项的短板。

FrontierCode 为什么更难

FrontierCode 的难，不在于题目更偏，而在于它把“做出来”升级成了“做得能被合并”。它的评分规则是二元而严厉的：一次尝试只要挂掉任何一项阻塞性检查，直接得 0 分；只有全部阻塞性检查通过，才按非阻塞性检查的表现拿到 70% 到 100% 之间的分数。也就是说，测试跑通了、功能看起来对了，仍然可能因为越界修改、超出范围的改动、没有证明改动正确性的测试而得零分。

这套标准来自 Cognition 与开源项目维护者的合作：100 项主任务取自 150 项任务池，且不公开，目的是减少训练数据污染。代价也很明显——外界无法逐题复核，独立审计只能停留在方法论层面。此外，Artificial Analysis 还会对智能体的执行轨迹做扫描：如果发现它直接去取上游解法，例如源拉取请求、合并提交或镜像副本，这次尝试同样归零。Terminal-Bench 一侧也有类似的反作弊规则，编辑测试文件、直接改写评分文件、照抄参考答案都会被判为作弊。

我的判断是：这种“维护者视角”比传统的“测试通过即满分”更接近真实工程评审，但它也引入了一个新的主观层。阻塞性与非阻塞性检查的划分、评分细则的权重，都是基准设计者定的。分数因此更能反映工程素养，也更依赖你对这套规则的信任。把它当作唯一真理，和把它当作毫无意义，同样都是偷懒。

问答评分改了什么

另一处容易被忽略的变化在问答那条腿。SWE-Atlas-QnA-AA 保留了 Scale AI 原来的 124 道题和 1306 条评分标准，但 Artificial Analysis 改写了其中 127 条标准的措辞，理由是让裁决更一致；评审模型换成了 GPT-6 Luna 的 xhigh 设置，每条标准投五票取裁决。数据集与评审配置已公开在 Hugging Face 上，这一点值得肯定：题量虽小，但至少评分配置不是黑箱。

这处改动的影响不是装饰性的。按多家交叉报道的说法，仅问答评分修订一项，就让 21 个双版本配置的平均分又掉了 1.7 分，而且个别配置在新旧评审下移动幅度高达正负 7 分。这说明评审模型与措辞本身就是一种“考官”，换考官会改变排名。以后再看到问答类基准的分数变动，先问一句“是模型变了，还是考官变了”，再下结论。

第一名与成本前沿：两个不同的冠军

按交叉报道的 v2.0 成绩表，Claude Code 加 Claude Opus 5.5 以 61.7 领先，其中 FrontierCode 一项为 56.0%，每任务平均成本约 11.42 美元。紧随其后的是 Claude Code 加 Claude Sonnet 5.5 的 59.3，以及 Muse Code 加 Muse Wonder Full 的 58.9。值得注意的是，问答单项的第一名并不是综合第一名：Muse Code 加 Muse Wonder Full 在 SWE-Atlas-QnA-AA 上达到 68.8%，高于 Opus 5.5 组合的 65.9%。这正是等权重综合分的意义所在——它奖励全面，而不是奖励单科状元。

但如果把成本放进来，冠军就换了人。按同一份成绩表，成本与性能前沿上有四个配置：Codex 加 DeepSeek V4.1 Flash 每任务约 0.39 美元、综合 47.3；Codex 加 GPT-6.1 Sol 每任务约 1.50 美元、综合 54.1；Codex 加 GPT-6 Astra 每任务约 7.04 美元、综合 54.7；以及 Opus 5.5 组合的 11.42 美元、61.7。换句话说，从最便宜的前沿点爬到最高分，成本要翻将近 29 倍，分数只涨 14.4 分。对个人开发者和小团队来说，这个换算比第一名是谁更重要：你的任务量越大，越应该先看自己落在成本曲线的哪一段，而不是直接抄榜首配置。

这里必须做一个诚实的区分：上面这张成绩表，包括 61.7、56.0%、11.42 美元以及 54.8 到 47.4 的均值变化，都是 Artificial Analysis 10 月 23 日公告经由多家报道转述的数字。我亲自打开的 Artificial Analysis 公开指数页确认了 v2.0 的构成、任务数与等权重规则，但该页的文本抓取中并不直接列出这张成绩表；因此这些具体名次与成本数字应标注为“公告与报道口径”，而非我从公开榜单逐行复核的结果。读者在引用时也应保留这层限定。

分数为什么整体下滑

21 个同时参加过新旧版本的配置，平均分从 54.8 降到 47.4，降幅 7.4 分，其中 20 个下降、只有 1 个没有下降。拆开看，大头来自基准替换：同一批配置在 FrontierCode v1.1 上的平均分只有 45.1%，而在被取代的 DeepSWE v1.1 上是 65.6%，两者相差超过 20 个百分点。问答评分修订再贡献约 1.7 分的下滑。其余波动来自评审变化对个别配置的不同影响。

这个拆解比 headline 更有信息量。它说明 v2.0 不是“模型集体退步了 7.4 分”，而是“换上一把更严的尺子后，同一批模型平均少拿 7.4 分”。更重要的是，FrontierCode 的 45.1% 均值揭示了一个行业现状：即便是今天最强的编码智能体组合，在“改动能被真实维护者合并”这个标准下，平均也只有不到一半的任务能拿到像样的分数。榜首的 56.0% 固然领先，但离“可以放心自动合入”还差得很远。任何宣称编码智能体已经可以无人值守合入生产代码的说法，在这张表面前都站不住。

方法论页的一个更正：它已经更新了

有次级分析指出，指数页指向的方法论页仍在描述 v1.5，两页口径不一致。我亲自打开方法论页核查时，情况已经不同：该页标题就是 Coding Agent Index v2.0 方法论，版本历史中明确列出“Version 2.0：2026 年 10 月—当前”，写明用 FrontierCode v1.1 取代 DeepSWE v1.1、把 SWE-Atlas-QnA 更名为 SWE-Atlas-QnA-AA 并调整评分；而 v1.5 被改写为“2026 年 9 月—2026 年 10 月”的历史版本。也就是说，“方法论页仍停留在 v1.5”的说法在抓取时点可能成立，但到我核查时已经过时。

这个细节值得单独写出来，因为它暴露了基准报道的一个通病：榜单页、方法论页与公告帖是三份会各自更新的文件，抓取时间不同就会得出不同结论。以后引用任何基准页，都应该写明你打开的是哪一页、哪一天看到的版本历史，而不是笼统地说“官网写的是”。本篇的核查时间是 2026 年 10 月 25 日，指数页与方法论页在当天均已显示 v2.0。

与 LSCBench 的划界：这是两道不同的题

需要特别划清界限：本篇讲的 Coding Agent Index v2.0，与本站此前发布的 LSCBench 文章不是同一回事，也不是同一轮评测的换个说法。LSCBench 是聚焦“代码是否安全”的安全代码基准，它实测 6 个前沿编码智能体，结论是双项通过率最高也只有 25%——它问的是“写出来的代码会不会引入漏洞、能不能通过安全检查”。而 Coding Agent Index v2.0 问的是另一个问题：一个模型加脚手架的组合，在改真实仓库、跑终端、回答仓库问题这三类工作上的综合表现如何，其中 FrontierCode 那条腿问的是“维护者会不会合并”。一个是安全维度的专项考试，一个是工作能力的综合指数；两者的任务、评分与结论都不互通，不能互相引用、不能互相替代。本篇不重复 LSCBench 的结论，也不对它的 25% 做任何新的解读。

这个区分对选型同样重要：一个在 Index v2.0 上拿高分的智能体，不等于在安全基准上也过关；反过来，一个在安全检查上谨慎的智能体，也可能在综合指数上并不突出。生产环境真正需要的，是把两张表并排放：综合能力看 Index v2.0，安全底线看 LSCBench，再加上自己仓库的实测。三张表缺一不可，只抄一张表做决策，就是在用单科成绩单决定整个人。

给 vibe coder 的三条实用建议

第一，别再引用 v1.5 的分数给 v2.0 的配置背书。版本变了，任务换了，考官也换了，旧分数只对旧版本有效。看到任何“比上个月涨了/跌了多少”的说法，先确认两边是不是同一个版本号。

第二，选型先看分项，再看总分。如果你主要做仓库改造与提 PR，FrontierCode 的分项比综合分更值得参考；如果你主要做代码问答与 onboarding 讲解，SWE-Atlas-QnA-AA 的分项更有指向性；如果你大量依赖终端自动化，Terminal-Bench 才是你的主战场。综合分是给“什么都干一点”的人准备的，不是给有明确主业的人准备的。

第三，把成本和等待时间算进选型。榜首配置每任务 11.42 美元的量级，在每天几十上百次调用时会迅速变成一笔真实开支；而 0.39 美元的配置虽然综合分低了 14 分，却可能覆盖你 90% 的日常任务。更务实的做法是分层：日常任务用便宜配置跑量，关键 PR 再用高分配置复核，而不是全量上榜首。

还要警惕的两种噪音

一是厂商对第三方指数的二次解读。就在 v2.0 公布前后，Cognition 曾宣称其 Devin Fusion 组合在 Artificial Analysis 指数上拿到 68 分；但这是一个厂商说法，Artificial Analysis 自己的公告口径里并没有这样确认，同一张厂商图表里的其他行甚至高于这个数字。凡是“某厂商说自己在某第三方榜单上第一”的说法，都要先回到榜单发布方自己的页面核对，再决定信几分。本篇的 61.7 至少有 Artificial Analysis 公告与三家独立报道交叉印证，而 68 分没有同等印证，不应与之并列引用。

二是把基准分等同于生产可靠性。FrontierCode 的任务是私有的、评审包含模型判断、执行环境是受控的 Stirrup 脚手架、每任务允许 250 回合——这些条件与你自己的仓库、权限、CI 流程都不一样。基准分能帮你缩小候选范围，但不能代替你在自己仓库里跑一小批真实任务。榜单是起点，不是终点；61.7 分的真正含义，是“值得先试”，而不是“可以直接用”。

再追问一句：等权重真的公平吗

等权重听起来公平，但它有一个经常被忽略的数学后果：任务数量不同的三条腿，在综合分里的话语权是相同的。Terminal-Bench 只有 66 项任务，却占三分之一；SWE-Atlas-QnA-AA 有 124 项任务，同样只占三分之一。换算成单项任务的权重，终端任务的每一题大约是问答任务每一题的 1.9 倍。这不是错误，而是设计选择：Artificial Analysis 认为三类工作能力本身同等重要，不应该让题量多的类别靠数量取胜。但读者在引用时必须意识到这一点——综合分里的“三分之一”，说的是能力维度的三分之一，不是任务数量的三分之一。

这个选择对不同的人意味着不同的偏误。如果你每天的工作九成是改仓库提 PR，那么 FrontierCode 只占三分之一的综合分，其实低估了它对你的重要性；反过来，如果你主要靠智能体做终端运维和批量脚本，Terminal-Bench 的 66 题在综合分里被放大到了三分之一，也可能高估了它对你的权重。我的看法是：等权重是一个可以接受的默认立场，但不是唯一合理的立场。一个更诚实的榜单，会同时公布等权重综合分和分项分，让读者按自己的工作配比重新加权；而只公布一个总分的榜单，永远在替读者做一次它没有明说的价值判断。

成本数字同样需要加一层限定。Artificial Analysis 明确说明，它的成本是按即用即付的 API token 定价算的，而不是订阅制定价。Claude Code 与 Codex 的订阅用户，实际账单结构完全不同：包月额度、速率限制、超额计费都会改变真实成本。因此 11.42 美元与 0.39 美元的对比，比较的是“按 token 计价时的相对昂贵程度”，而不是“你下个月账单上会看到的数字”。订阅用户在选型时，应该把这张成本表当作相对排序参考，再用自己的订阅档位重新算一遍；直接把 11.42 美元乘以调用次数去做预算，很可能会算错。

还有一个容易被跳过的技术细节：每项任务三次尝试的平均值，解决的是单次运行的随机波动问题，但没有解决“配置”本身的波动问题。同一模型在不同脚手架、不同推理强度、不同回退设置下，会以不同行出现在榜单上；Artificial Analysis 自己也强调，每一行都是一个具体的智能体变体，而不是一个通用产品名。这意味着，榜单上的“Claude Code 加 Opus 5.5”指的是一组特定设置下的表现，你换一个设置、开一个回退开关，结果就可能移动。引用榜单时连设置一起引用，否则就是在用别人的配置给自己的选择背书。

总的来看，Index v2.0 是一次朝着更诚实方向走的修订：它把“能不能合并”放进综合分，让分数更难看，也更可信。它没有证明哪家模型已经赢了，倒是证明了这个行业的测量工具正在学会对自己更严格。对开发者来说，最好的回应不是换一句口号去追榜首，而是学会读分项、算成本、做自己的小规模实测——尺子换了，量法也该跟着换。