最强的模型也只做对 12%：GDPx 把 Agent 从考卷拉回了工位

12% 这个数字为什么值得认真对待

2026 年 11 月 2 日，芯片与基础设施研究机构 SemiAnalysis 发布了 GDPx，一个衡量“通用 agent 能力”的新基准。首版榜单上最强的模型——Anthropic 的 Claude Opus 5.5——得分是 12.0%。第二名是谷歌的 Gemini 4 Carbon，10.9%；第三名是 OpenAI 的 GPT-6 Astra，9.6%。榜单上一共 13 个模型有公开分数，最低的是 Z.ai 的开源权重模型 GLM 5.3，只有 2.7%。

12% 听起来像不及格，但这正是 SemiAnalysis 想要的效果。过去几年，模型基准大多在考“答题”：给一段提示和一份文档，让模型交一份答案，再按评分标准打分。GDPx 换了一套考法：把 agent 扔进一个模拟的工作环境，给它最多 8 小时，让它真的去干活——翻一份由大约 4000 个匿名文件组成的私募交易资料、操作带真实漏洞的在线服务、在芯片设计工具里做验证。工作和考试有一个根本区别：做到 90% 仍然可能等于零，因为交付物错了、规则违反了，或者关键文件根本没找到。二进制评分下，接近完成不算完成。

这个数字还有一层含义值得先讲清：它不是“AI 只能干 12% 的活”。GDPx 的任务是故意挑出来的高难度、高价值专业任务，横跨 11 个领域；日常那种边界清晰、半小时能讲完的小任务，根本不在这张卷子上。12% 的正确读法是：面对一整段没人拆解过的、长达数小时的专业工作，今天最好的 agent 也只有约八分之一的概率一次交出合格成果。把这个数字外推成“AI 不行了”或者“AI 马上能替代所有人”，都是误读。

这张卷子是怎么出的：206 个任务、11 个领域、14 家合作方

GDPx 首版包含 206 个任务，覆盖 11 个领域：芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐（alignment）和软件工程。任务由 14 家专业数据合作方建造，SemiAnalysis 做最终质量检查。选择领域的标准不是“覆盖全经济”，而是该机构判断的前沿智能最快产生高回报的地方；它明确排除了政府、房地产和保险这类行业。这个取舍本身就是一种立场：GDPx 不打算做一张人人满意的通用卷子，它要做一张“值钱的工作”卷子。

评分规则有三个关键点。第一， headline 分数是 pass@1 在三次尝试上的平均值，也就是“第一次就做对”的概率，而不是三次里最好的一次。第二，11 个领域权重相等，每个领域内的合作方权重也相等，不按任务数量加权。第三，每个任务按其设计采用二进制或连续评分，金融和法律在严格的二进制评分下几乎全军覆没，榜单上展示的是部分分数——但底层的结论不变：没有模型交出过一份完整、可批准的金融交易或法律交付物。

还有一个方法论细节，对解读排名至关重要：模型跑在各自的原生工具链里。Opus 5.5 用 Claude Code，GPT-6 Astra 用 Codex，Gemini 4 Carbon 用 Antigravity，没有原生工具链的模型用 OpenCode 兜底。所以 GDPx 比的不是裸模型，而是“模型加工具链”的系统。一个模型换一套工具链，分数可能跟着变；把榜单读成纯粹的模型智商排名，是对方法论的误读。

榜单细读：第一名贵，第二名便宜，第三名在另一些领域赢

先看 headline 榜单的前几名。Claude Opus 5.5 以 12.0% 居首，平均每个任务花费 51.41 美元，输出约 54.8 万 token；Gemini 4 Carbon 10.9%，每个任务 16.29 美元；GPT-6 Astra 9.6%，每个任务 53.99 美元。第四名是 Meta 的 Muse Wonder Full，9.0%，没有公开价格；往下依次是 Claude Fable 5.1（8.5%）、GPT-6.1 Sol（8.4%）、Claude Sonnet 5.5（8.2%）、Gemini 4 Argon（7.3%）。

把分数和成本放在一起，画面立刻变了。用榜单上的数字做一道简单算术：Opus 5.5 每个成功结果的平均成本约为 428 美元（51.41 除以 12%），Carbon 约为 149 美元（16.29 除以 10.9%）。这道算术是本文根据榜单数字算的，不是 SemiAnalysis 的原话，但它点出了采购时真正该问的问题：你买的不是“一次尝试”，而是“一个成功结果”。Carbon 用约九成的分数、约三成的单次成本，换来了约三分之一的成功成本——当然，它目前尚未全面开放，这个价格目前还不是所有人都能拿到的价格。

分领域看，榜单是“碎”的。SemiAnalysis 的分领域数据显示，Opus 5.5 赢在量化交易、硬件和芯片设计，Carbon 赢在生物和软件工程（后者只是险胜），Astra 赢在递归自我改进和材料科学。没有任何一个模型是全能冠军。这对选型的启示很直接：headline 排名第一的模型，未必是你那个领域的最佳选择；按你自己的任务切片去查分领域分数，比抄总榜靠谱。

还有一个反直觉的注脚：SemiAnalysis 指出，安全分类器拉低了部分模型的分数。在网络安全、生物和对齐这三个领域，Opus 5.5 和 GPT-6 Astra 因为分类器拒绝了部分任务而丢分；如果把这三个领域排除，SemiAnalysis 的替代视图里 Astra 会升到第一，Carbon 则掉到第五。这个替代视图描述的是“换一份八领域卷子”的结果，不是“关掉安全措施后的真实能力”，不能把它当成给模型“平反”的证据。但它提醒读者：榜单分数里混着能力、安全策略和任务选择三样东西，拆开看才有意义。

和 GDPval 的区别：从“交作业”到“进办公室”

GDPx 有一个直接的前身：OpenAI 在 2025 年 9 月 25 日发布的 GDPval。GDPval 的做法是把提示和文档直接交给模型，离线评分，不进真实环境。SemiAnalysis 对 GDPval 的批评是，它测的是“知道”，不是“做到”。GDPx 的改进，就是把 agent 放进带工具、带文件、带反馈循环的工作环境，并且给足时间——默认上限 8 小时，个别任务更短。

这个变化对 vibe 开发者尤其相关。日常开发里，agent 的工作方式正在从“回答一个问题”变成“接手一段任务”：读仓库、跑测试、改代码、提 PR。GDPx 测的正是后一种形态，只不过把仓库换成了交易资料、芯片工具和实验室仪器。它的分数低，恰恰说明“长任务交付”这个环节仍然是 agent 最弱的一环：上下文管理、工具调用的连贯性、中间错误的自我纠正，任何一处断掉，整个任务就归零。

但也要看到 GDPx 的边界。它不测短任务，不测对话体验，不测代码之外的创意工作，也不测真实公司里的协作——没有同事打断你，没有需求中途变更，没有“老板说先别做了”。把 GDPx 分数当成“agent 在真实职场里的胜任率”，同样是外推过度。它是一面镜子，照的是长任务交付能力，不是全部工作能力。

该信多少：一个首日基准的自我审查清单

任何首日基准都值得用同一套问题盘问，GDPx 也不例外。第一，任务是否公开可审计？GDPx 的任务大多由合作方私有建造，外部无法逐一复核；SemiAnalysis 公开了部分任务轨迹，这是目前最好的外部检查手段，但不是独立复现。第二，评分是否独立？所有数字都来自 SemiAnalysis 自己的运行，没有第三方重跑。第三，样本量是否足够？部分结论建立在少量运行上，生动的个例应当作示意图，而不是统计结论。

第四，任务质量本身是否过关？SemiAnalysis 要求每个合作方先通过它自己的自动化质量检查，并且声称同一套流程能挑出 Terminal-Bench 4.0 近一半任务的问题。这个说法本身也需要外部验证——用自己的质检标准给自己背书，逻辑上是循环的。第五，成本数字是否可比？不同模型的 token 定价、工具链开销、重试策略都不同，“每个任务花费”是一个榜单口径，不等于你账单上的数字。

这些质疑不是要否定 GDPx，而是要给它一个合理的位置：它是目前最接近“真实长任务”的公开基准之一，但仍然是厂商自营的基准。正确的使用方式，是把它当作选型的起点和预算的参考，而不是最终判决。SemiAnalysis 计划每三到六个月刷新一次榜单，分数会动；今天的结论，应当写上有效期。

给 vibe 开发者的三条落地建议

第一，按任务切片选模型，不要按总榜下单。先把你的 agent 任务分成三类：短而确定的（修一个报错、写一段测试）、中等长度的（实现一个小功能、重构一个模块）、长而开放的（从零搭一个服务、迁移一个系统）。GDPx 只对第三类有参考价值；前两类，请用你自己的评测集说话。

第二，用“成功成本”做预算，而不是“尝试成本”。把榜单上的单次成本除以成功率，得到每个成功结果的期望花费，再乘以你的任务量和返工率。一个单次便宜但成功率低的模型，算下来可能更贵；反过来，一个单次昂贵的模型，如果一次就能交活，也可能更划算。预算表里应当同时列出这两列数字。

第三，给金融、法律这类零容忍领域保留人工关口。GDPx 在这两个领域交出的零分，不是一个“模型还不够好”的温和信号，而是一个“当前形态的 agent 不适合独立交付”的明确信号。涉及资金、合同、合规的 agent 流程，应当把 agent 定位成“起草和初筛”，把批准权牢牢留在人手里；任何“全自动过账”“全自动出合同”的设计，在这个分数面前都应当重新论证。

最后回到 12% 这个数字本身。它最有价值的地方，不是打击信心，而是校准预期：长任务交付仍然难，难到最好的系统也只有八分之一的把握一次做对。对个人开发者来说，这意味着 agent 仍然是“强力的副手”，而不是“可以下班的员工”；对团队来说，这意味着评测、关口和返工预算不是可选项，而是用 agent 干活的固定成本。承认这一点，恰恰是为了更踏实地用好它。

只看软件工程一个领域，排名会变吗

GDPx 的总榜容易让人忽略一个事实：总分是 11 个领域等权平均的结果，而任何一个真实团队关心的都只是其中一两个领域。SemiAnalysis 的分领域数据显示，Gemini 4 Carbon 在软件工程上只是险胜，Claude Opus 5.5 在芯片设计、硬件设计和量化交易上占优，GPT-6 Astra 在递归自我改进和材料科学上占优。这意味着，如果你的工作就是软件工程，总榜第一和第二之间的差距，可能比总分显示的 1.1 个百分点更小，甚至在某些任务类型上完全反转。

更进一步说，等权平均本身就是一种价值判断。它假设芯片设计任务和法律任务同等重要，但对一家软件公司来说，法律任务的权重应当是零，对一家律所来说，芯片任务的权重也应当是零。SemiAnalysis 明确说过，它不按 GDP 占比或职业分类加权，因为它认为那样会扭曲“前沿智能最快变现”的视角。这个立场可以讨论，但读者至少应当意识到：你看到的 12.0% 不是一个中性的“能力值”，而是一套特定权重下的综合分。换一套权重，冠军可能换人。

对选型最有用的做法，是把 GDPx 当作“领域地图”而不是“总排行榜”。先确定你自己的任务分布，再去查对应领域的分数和成本；如果公开材料里没有你关心的领域细分，那就说明这个基准对你的决策价值有限，应当回到自己的评测集。抄总榜下单，相当于按全科总分给专科医生排名，排名本身没错，但用错了地方。

自己跑一次微型评测：50 个任务就够发现问题

与其争论 GDPx 的分数准不准，不如用它的方法论给自己的团队做一次微型评测。做法并不复杂：从真实工作里挑 50 个任务，要求是“有明确交付标准、能在两小时内完成、有现成检查方法”。比如修复 10 个真实 bug、实现 5 个小功能、迁移 3 个旧模块、写 10 份测试、做 5 次代码评审。每个任务事先写好通过标准：测试全过、评审意见可执行、迁移后行为一致——标准越具体，评分越不容易注水。

运行方式上，至少要做到三点。第一，同一任务让不同模型或工具链各跑一次，记录成功率和花费，而不是只看某一次的成功案例。第二，评分人不要知道是哪一个模型做的，避免“名牌效应”影响判断。第三，把失败按原因分类：是没找到关键文件、是工具调用断了、是中途改错了方向，还是交付物本身就不合格。GDPx 最大的启示，其实就藏在这类分类里：长任务失败的原因高度集中，修掉最常见的两三种失败模式，成功率的提升远大于换一个更贵的模型。

成本记录同样要按“成功成本”来记。每次尝试的花费、成功率、返工次数，三个数字乘在一起，才是这个任务的真实成本。如果某个模型单次便宜但需要跑三次才成功一次，它的真实成本就是单次价格的三倍。把这张表贴在团队内部，比任何基准榜单都更能指导采购：它测的是你的任务、你的仓库、你的标准，而不是别人的模拟办公室。

引用时的版本意识：榜单会刷新，结论要写有效期

最后补一个引用习惯。SemiAnalysis 计划每三到六个月刷新一次 GDPx，模型版本、工具链版本和任务集都会变，今天的 12.0% 在下个版本里可能变成 14%，也可能因为任务变难而变成 10%。因此，任何引用 GDPx 的文章、选型文档和采购报告，都应当写明三件事：榜单版本号、查询日期、以及“按首版口径”这个限定。只写“某模型在 GDPx 上得分 12%”而不写版本和日期的引用，三个月后就会变成无法复核的孤数。基准的价值一半来自数字本身，另一半来自数字的可复核性；把版本号写进引用，是对读者最基本的负责。同样，你自己的微型评测也应当留档：任务清单、通过标准、模型版本、运行日期，缺了任何一项，下次换人复跑时都会对不上结果。

顺带提醒一句：不要拿 GDPx 的分数去给某个模型“定性”。今天的第一名可能只是因为它的工具链更成熟、任务类型更对口，而不是因为它在所有方面都更聪明；今天的最后一名，也可能在你那个没被列入榜单的领域里表现最好。基准是用来缩小选择范围的，不是用来结束讨论的。真正结束讨论的，永远是你自己的任务和你自己的评测。