返回探索
资讯VibeFix 内容整理更新于 2026年11月19日

模型没换,换个壳就差出 24 分:Garry Tan 的 harness 实测给选型泼了冷水

2026 年 11 月 8 日,Y Combinator 首席执行官 Garry Tan 公开了一份 harness 评测:同一批任务、同一个模型,只换智能体脚手架,通过率全在 71% 到 79% 之间分不出胜负,成本却从每题 0.19 美元差到 0.44 美元。另一份 2.8 万次试验的榜单上,榜首与榜尾解出率差 24.1 个百分点。模型没换,换个壳结果真的会变——但变的是成本和速度,不是聪明程度。

深色屏幕上彩色 Python 代码行的特写,语法高亮清晰可见

一句话:别再问哪个模型最强,先问它穿了什么壳

2026 年 11 月 8 日,Y Combinator 首席执行官 Garry Tan 在 X 上贴出了一份自己做的评测,标题很直白:《harness-evals》——哪个智能体脚手架(harness)配上前沿模型干活最好、花的钱最少?他没有换模型:同一批任务,Claude Opus 5.5 或 GPT-6.1 Sol,只换任务之外的那层“壳”——系统提示词、工具、记忆、校验。结果出来后,Tan 自己先泼了冷水:七套配置的通过率全在 71% 到 79% 之间,20 道题里有 14 道所有配置得分一模一样,“这是测试的问题,不是一场平局”。真正拉开差距的不是谁更聪明,而是账单:同样一道解出来的任务,有的配置花 0.19 美元,有的花 0.44 美元,差了一倍还多。

这件事值得写,不是因为又多了一份排行榜,而是因为它正好撞上了 vibe coding 圈子里最贵的一个误会。过去一年,选型讨论几乎全是模型之争:换 Opus 还是换 Sol,谁的基准分更高。可一个智能体每天真正花掉的钱和时间,大半不在模型那次调用里,而在模型之外的那层壳里:它每次请求重发多少系统提示词、加载多少用不上的工具、失败了会不会原地打转、记不记得上次是怎么修好这个仓库的。Tan 的评测第一次把这层壳单独拎出来称重,而且用的是开源的方法和数据,任何人都能复跑。几乎同一周,另一份独立榜单也上线了:Hugging Face 上的 Harness Leaderboard,11 月 5 日发布,跑了 28,849 次试验,只换壳、不换模型,榜首和榜尾的解出率差了 24.1 个百分点。两份数据放在一起,结论比各自单独看都更扎实:模型没换,换个壳,结果真的会变——但变的是哪部分、变多少、能不能信,得一笔一笔对账。

先看 Tan 的数字:通过率分不出胜负,账单分得清清楚楚

Tan 的仓库叫 garrytan/g-harness-evals,2026 年 11 月 5 日创建,MIT 协议,截至 11 月 19 日核查时已有 166 个 star。评测分两套任务:52 道公开的 Terminal-Bench 2.1 编程题,和 20 道多用户模拟任务——智能体在里面扮演一家模拟公司的聊天机器人,轮流回答好几个人的问题。每套任务、每个配置都跑多遍,成本按公开标价实算,时间按中位数统计。先看最受关注的多用户任务,在 Opus 5.5 上:QM(一套基于 Pi 的循环)每解出一道题 0.19 美元,Claude Code 0.22 美元,Hermes Agent 0.24 美元,OpenClaw 0.44 美元。通过率呢?QM 72.5%,Claude Code 76.3%,Hermes Agent 78.8%,OpenClaw 76.3%——四家挤在 6 个百分点里,统计检验分不出高下,Tan 的原话是“没法在通过率上把任何一对区分开”,小于 7.7 到 14.2 个百分点的差距都可能藏在噪声里。时间也一样拉开:QM 和 Claude Code 每次尝试中位数 40.1 秒,Hermes Agent 64.6 秒,OpenClaw 99.4 秒。

换到 GPT-6.1 Sol 上,顺序变了:Codex 每解出一道题 0.17 美元、30.1 秒,又便宜又快;OpenClaw 0.22 美元、Hermes Agent 0.19 美元,通过率 71.3% 到 75.0%,同样分不出胜负。也就是说,同一套题、同一个模型,只换壳,解题成本能差一倍,耗时能差两倍多,而“做没做出来”这个最直观的指标几乎不动。这对每天按 token 付费的人是个很实在的提醒:选错壳不会让你明显变笨,但会让你每个月多付一倍的钱,还多等一倍的时间。

52 道编程题的那套结果更耐人寻味。在 Opus 5.5 上,Pi 每解出一道题 0.62 美元,Claude Code 0.63 美元,OpenClaw 和 Hermes Agent 都是 0.88 美元;通过率 Claude Code 最高,88.5%,Pi 81.4%,Hermes Agent 81.7%,OpenClaw 76.0%——OpenClaw 是唯一一个在预先设定的检验里被判“落后于”Claude Code 的,但 Tan 自己在脚注里写明,这个结论很脆弱:换一种停机处理规则,或者去掉被供应商拒绝的尝试,它就变成“无法区分”。在 Sol 上,Pi 0.23 美元最便宜,Codex 0.34 美元(修正后 0.31 美元),Hermes Agent 0.43 美元(修正后 0.37 美元),OpenClaw 0.61 美元(修正后 0.50 美元)。通过率最高的是 Hermes Agent,85.6%,Codex 83.7%,Pi 80.4%,OpenClaw 76.0%。注意一个细节:这两套任务的数字不能直接横向比较,任务不同、计费口径也略有不同,Tan 在 README 里用加粗标明了这一点——网上已经有人把两套表的数字混着用,那是不对的。

对照图:Tan 的多用户任务里同一模型 Opus 5.5 下每解出一道题的成本从 0.19 到 0.44 美元;Harness Leaderboard 的 2.8 万次试验里解出率从 mini-swe-agent 的 51.4% 到 OpenClaw 的 27.3%

OpenClaw 贵在哪:八成冤枉钱花在重复发送上

账单差一倍,总得有个去向。Tan 的仓库里有一份单独的成本拆解,结论很具体:在 Opus 5.5 上,OpenClaw 比 Claude Code 多花的钱里,大约 81% 是缓存写入——它每次请求都会重发一个大得多的系统提示词和更大的工具返回结果。换句话说,它不是思考得更久,而是每句话都把“说明书”从头念一遍。在 Sol 上,差距换了个样子:OpenClaw 一次任务平均输出 282,492 个 token,Codex 只有 32,226 个,差了将近 9 倍——输出 token 是按量计费里最贵的那部分。Hermes Agent 在 Sol 上贵的原因也写明了:每次尝试比 Codex 多发 423KB 的工具描述,请求次数 16.7 次对 11.6 次。这些数字有意思的地方在于,它们全是工程问题,不是模型能力问题:提示词多长、工具描述多啰嗦、结果要不要每次都全量重发、失败了重试几次——全是壳的设计决定的,也是做 vibe coding 的人自己能改的。

反过来,Pi 和 QM 这两个“轻量级”选手的便宜也有名有姓。Pi 在编程题上是 Opus 和 Sol 两边的成本第一,0.62 美元和 0.23 美元;QM 在多用户任务上和 Claude Code 并列第一,0.19 美元。它们的共同点是“壳薄”:更少的仪式、更短的提示词、更少的来回。但便宜也有代价,Tan 的数据里写得很清楚:Pi 在编程题上的通过率比 Claude Code 低 7 个百分点左右(81.4% 对 88.5%),QM 的多用户对比没有通过统计检验,而且它跑在 Docker 的默认网络上,网络条件没和其他配置保持一致,所以它的排名要打个折扣看。选壳这件事,从来不是“越轻越好”或“越重越好”,而是看你的任务在为什么付费:为通过率付费,还是为速度和成本付费。

第二组数据:2.8 万次试验,榜首是个“裸奔”的 bash 循环

Tan 的评测只有 20 道多用户任务和 52 道编程题,样本不大。几乎同一天上线的 Harness Leaderboard 把规模放大了一百多倍:Hugging Face 研究员 Joël Niklaus 在 11 月 5 日发布了这个榜单,跑了 28,849 次试验,花了 4,746 美元的推理费用,比较了 9 个脚手架——Claude Code、Codex、Pi、OpenCode、Hermes Agent、mini-swe-agent、Kimi Code、Qwen Code、OpenClaw。模型固定为三款开放模型(GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint),任务是 Terminal-Bench 2.1 和 DeepSWE,每道题给三次尝试。结果是:平均解出率最高的是 mini-swe-agent,51.4%——一个只用 bash 的极简智能体;最低的是 OpenClaw,27.3%。Pi 49.4%,每解出一道题只要 0.29 美元;OpenCode 同样一道题要 3.35 美元,是 Pi 的 11.7 倍。榜单还标明,有五家在统计上和榜首“并列第一”,包括 Kimi Code、Hermes Agent、Pi 和 Claude Code。

这个榜单最值得琢磨的不是谁拿了第一,而是第一名是谁:mini-swe-agent 几乎没有花哨的设计,就是一个循环加 bash 工具。它赢的不是功能多,而是浪费少。榜单的另一处细节同样重要:最好的壳会跟着模型变——mini-swe-agent 在 GLM-5.3-Flash 上最好,Hermes Agent 在 DeepSeek-V4.1-Flash 上最好,Kimi Code 在 Flint 上最好。也就是说,“哪个壳最好”没有通用答案,它取决于你用的模型。独立核查网站 honesty.tools 在 11 月 6 日对照榜单的公开接口复核过 headline 数字:28,849 次试验、约 4,746 美元、mini-swe-agent 51.4%、OpenClaw 27.3%、Pi 49.4% 且 0.29 美元,全部与实时数据一致。但它也留了一句提醒:这只是数字核对,不是逐条重跑——“模型、供应商、推理强度都固定”这一点是榜单自己的设计声明,没有逐条审计过。

榜单的局限同样写在明处:它只用了三款开放的 Flash 级模型,没有 Claude、没有 GPT;OpenClaw 的垫底有部分原因是它的单次响应 8,192 个 token 上限在 Flint 和 DeepSeek 上截断了答案,新版本正在重跑。11 月 13 日《The New Stack》的后续报道还补了一个有意思的细节:DeepSeek 自家的 Harness 在五项评估总分上和榜首并列,却单看 Terminal-Bench 只排第六,原因是一个内置行为——任务结束时它会关掉后台进程,而有些任务恰恰需要后台进程还活着。一个小小的默认行为,就能让排名上下浮动好几位。这正是“壳”的真相:决定成败的常常不是架构图上的大方块,而是这些不起眼的默认设置。

18.4 分那个数字,先别急着转发

这轮讨论里传播最广的一个数字,是 Terminal-Bench 2.0 公开榜上的 18.4 分:同一个 Claude Opus 4.6,斯坦福 IRIS 实验室的 Meta-Harness 得 76.4%,Claude Code 得 58.0%。这个数字被很多人当成“壳比模型重要”的铁证,但它恰恰是最需要慢半拍看的。开发者 Quang Lee 分析公开榜后指出,只看经过验证的行,Opus 4.6 的差距就从 18.4 分缩到 4.9 分——公开榜上的提交来自不同团队,预算、提示词、运行配置都不一样,混在一起比本来就不公平。而且 Terminal-Bench 2.1 后来修复了 89 道题里的 28 道有问题的题,Claude Code 配 Opus 4.6 在 2.1 上的分数升到了 70.1%。换句话说,18.4 分里有一大块是“坏题”和“不同配置”贡献的,不是壳本身的差距。

更早的一组对照也指向同一个方向:字节跳动 Seed 团队的 HarnessDev 研究发现,GPT-5 在 Terminal-Bench 2.1 上,换个壳就能从 35.2% 变到 49.6%。而 2026 年 7 月发表在 arXiv 上的一项研究(arXiv:2609.00006)梳理了 11 个生产级编程智能体的源代码,把壳拆成七个通用子系统:智能体循环、模型接入、工具与动作、记忆与上下文、安全与权限、编排、扩展性。壳不是一个东西,而是一整套东西。这三组数字合起来,合理的读法是:壳确实能把分数拉开几个点到二十多个点,但具体拉开多少,取决于任务难度、模型档次和榜单本身干不干净。把 18.4 分当成放之四海的定论,和把 71% 到 79% 的“平局”当成“壳没用”,是同一种错误:都是拿一个数字代替了整场测量。

排行榜之外,真正值钱的是三条“用法”发现

Tan 的仓库里最有用的部分,可能不是排名表,而是“每个壳怎么用”那几节。第一条关于规则放哪:一项“先查 gbrain”的规则,放在系统提示词或每轮都附加的钩子里,30 轮里被执行了 30 次;只放在 Claude Code 的启动钩子里是 26 次;完全不放规则、只靠技能文件里写着,只有 18 次。Codex 更极端:规则放钩子、系统提示词或启动文件都是 30 次全中,没有规则只有 6 次。结论很直白:重要的规则要放在智能体每轮都看得见的地方,只写在技能文档里等于没写——Claude Code 在 30 轮里一次都没有主动打开过那个没人提到的技能文件。

第二条关于 Tan 自己的产品:gstack 的技能(/investigate、/qa、/review、/ship)被 Opus 5.5 每次都读了,却一次都没照做——46 次会话,执行步骤 0 次,成本还翻了一倍。Tan 的结论很诚实:任务对 Opus 来说太简单了,这只能证明步骤没被执行,不能证明执行了有没有用。一个愿意把自己产品的负面结果原样贴出来的评测,比只报喜的榜单可信得多。第三条关于共享记忆:gbrain 在多人共用一个 token 时,会把不该给某人看的记录也返回来,51 次尝试里出现了 33 次、20 次、17 次、9 次(四种配置各不相同);改成按人分权限后,四种配置全部是 0 次。对 vibe coding 的人来说,这条的含金量不亚于任何排名:给智能体接共享记忆之前,先把权限分清楚,否则省下的 token 钱,迟早要在一次越权读取里还回去。

这三组数据,拼不成一句“壳比模型重要”

说到这里,必须把刹车踩到底。这三组数据没有一组做过“模型与壳交叉对照”的实验:Tan 固定模型换壳,榜单固定模型换壳,Terminal-Bench 公开榜是各家自己提交、配置各异。所以没有任何一组数据能回答“壳和模型哪个更重要”——它们只能回答“模型不动时,换壳会发生什么”。Tan 自己的措辞一直很克制:通过率“无法区分”,成本差异“没有统计检验”,任务是公开的“开发集”结果、不是隐藏任务上的确认。他的仓库还公开了两处事后修正:11 月 9 日修正了计费口径(不再把预留费用算进成本),11 月 10 日修正了出口代理截断慢请求的问题;还有一次 GitHub 停机打断了 353 次尝试,其中 351 次重跑补上了。愿意把修正和事故都写进 README 的评测,读起来费劲,但值得信任。

利益冲突也得摆在台面上:QM 是 Y Combinator 的项目,Tan 是 YC 的负责人;YC 还是 Hermes 的投资方;OpenClaw 的作者在 OpenAI 工作;gstack 和 gbrain 是 Tan 自己的项目。Tan 在仓库的披露一节里把这些全写出来了,Hermes 和 QM 的好成绩因此要打一点折扣看,但这不是说数据就不能用——恰恰相反,披露得越完整,读者越能自己判断。还要提醒一句:站内之前已经写过不少“壳”相关的文章,角度各不相同:Stack Overflow 10 月的长文讲的是“智能体等于模型加脚手架”这个概念,谷歌的 Harness² 讲的是让脚手架自己进化,Vercel 的 durable-harness 讲的是崩溃不断线,微软的 Copilot Harness 讲的是换模型不用重写底座。本篇写的是另一件事:2026 年 11 月 5 日到 8 日这一周,三组新的实测数据第一次把壳的差别量化成了通过率、美元和秒数。概念篇和实测篇,读法不一样,别混在一起。

给做 vibe coding 的人:选壳先看账单,再看榜单

把这些数字落到日常工作上,有几条可以直接拿走。第一,选型先比成本,再比通过率。Tan 的数据里,通过率在 20 道题上根本分不出高下,成本却差了一倍;榜单上成本差了 11.7 倍。你的项目每个月烧多少 token,壳的责任比模型大得多。先在你自己的仓库上跑几十道真实任务,记下每个配置的“每解出一道题多少钱”,再决定用谁——抄排行榜的排名,等于用别人的任务替你的仓库做决定。

第二,规则要写在智能体每轮都看得见的地方。系统提示词、每轮钩子、启动文件,三选一都行,别只塞进技能文档。Tan 的数据是 30 次里 30 次对 0 次的区别,不是玄学,是测量结果。第三,共享记忆先分权限再上线。gbrain 的教训是现成的:共用 token 时越权读取出现了几十次,分权限后归零。第四,别为“榜首”换壳。最好的壳跟着模型走,跟着任务走,还跟着默认设置走——DeepSeek Harness 一个关后台进程的默认行为就能让它在单项榜上掉好几名。最后,记住 Tan 那句最实在的建议:“先按成本和速度选:Opus 上用 Claude Code,Sol 上用 Codex。”这不是因为它们最聪明,而是因为在他的测量里,它们在各自模型上又便宜又快。等更难的 Terminal-Bench 重跑结果出来,这个建议可能会变——到时候再看新的数字,而不是守着旧的排名。

结语:壳的竞赛,才刚刚开始计分

2026 年 11 月的第一周,编程智能体的竞争悄悄换了赛道:以前比的是谁的模型更聪明,现在比的是谁的壳更会过日子。Tan 的评测、Niklaus 的榜单、Terminal-Bench 公开榜上的 18.4 分,三组数据说的其实是同一件事:模型是引擎,壳是变速箱、油耗和仪表盘——引擎一样,整辆车的表现可以差出一大截。但这句话的另一面也同样重要:三组数据谁也没证明壳比模型重要,它们只证明了壳的差别是真实存在的、可测量的、而且主要体现在成本和速度上。对每天用智能体写代码的人来说,这反而是个好消息:模型你换不了、也左右不了,壳却是你能动手改的东西。提示词短一点、工具少加载几个、失败了别原地打转、规则放在每轮都看得见的地方——这些改动不花钱,省下来的却是真金白银。下一轮更难的评测正在路上,到时候我们再看,到底是谁的壳最会过日子。

阅读 0评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目

相关文章

一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态
一名开发者坐在双显示器工位前敲键盘,左屏是深色代码编辑器,右屏是带绿色对勾与柱状图的测试仪表盘,桌上有台灯和马克杯
资讯
你的智能体到底变好还是变坏了:AWS 开源 UAEF,给所有框架的智能体用同一把尺子量

2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。

开发工作流产品发布测试与质量
黑色背景上,一名指挥家背对镜头高举指挥棒,脚下环绕着旋转的光轨,像一支乐队正在被指挥
资讯
一个接口接 45 个模型,坏了自动换一家接着跑:Perplexity 的 Orchestrator 想当模型界的‘总机’

2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。

开发工作流产品发布模型动态