返回探索
资讯VibeFix 内容整理更新于 2026年11月20日

一个 bug 难不倒它,五十个就全军覆没:BuggyMLE 把编程智能体的遮羞布扯下来了

2026 年 11 月 18 日,谷歌研究院等团队在 arXiv 发布 BuggyMLE:往 222 个能跑的机器学习仓库里注入 bug,14 个模型从最简单的 95% 一路跌到最难的 9%。一个 90 亿参数的小模型靠从易到难的课表,在 10 个 bug 那档超过了 Claude Opus 5.5。

一名开发者坐在双显示器工位前敲键盘,左屏是深色代码编辑器,右屏是带损失曲线、混淆矩阵与流水线图的机器学习仪表盘

一句话:基准快被刷满了,有人干脆自己造了个更难的

2026 年 11 月 18 日,谷歌研究院、谷歌 DeepMind、伊利诺伊大学和佐治亚理工的 13 位作者把一篇论文挂上 arXiv,标题是《BuggyMLE:用注入 bug 的办法,把机器学习工程的难度拉上去》。论文要解决的问题很直接:现在测编程智能体的基准,越来越不够用了。有的只让模型改一个文件,真实的机器学习工程却要动整个仓库;有的已经被刷到顶,顶尖模型比人类参考答案分还高;还有的靠人工出题,出题速度赶不上模型进步的速度。这篇论文的做法是反过来的:先找 222 个能正常跑的机器学习仓库,让智能体往里面“下毒”——注入可控的 bug,再看别的模型能不能把毒排干净。毒下得越多,题就越难,难度可以一直往上加。

结果很有冲击力。14 个模型参加评测,最简单的那档,最好的模型能修好 95% 的任务;最难的那档,只剩 9%。更值得看的是中间发生了什么:一个只有 90 亿参数的小模型,靠一套从易到难的训练课表,在 10 个 bug 那档超过了 Claude Opus 5.5;而且它学到的本事还能带到别的任务上,SWE-bench Lite 的分数从 24% 涨到 33%。这篇文章讲清楚五件事:BuggyMLE 的题是怎么造出来的,一个叫 CCI 的难度公式为什么能预言哪道题难,14 个模型的成绩单到底长什么样,小模型是怎么追上旗舰的,以及这些结论对正在造应用的人有什么用。

题是怎么造的:往能跑的仓库里“下毒”

BuggyMLE 的流程分三步。第一步,找干净的底子:222 个真实的机器学习仓库,都是能正常跑出结果的,覆盖表格、文本、时间序列、图像、信号、地理空间、临床和基因组等多种数据形态。第二步,注入 bug:一个智能体按一套规则往仓库里改代码,改出 6600 多个带 bug 的仓库变体,总共注入了将近 26 万行有问题的代码。注入的 bug 不是随机乱改,而是有记录的、可验证的——把注入的改动原样撤销,仓库就能恢复到干净状态,论文把这叫“oracle 验证”。第三步,评测:另一个模型拿到带 bug 的仓库,要把它修到能跑、指标恢复,还要通过逐个 bug 的核查。

评测用的题库叫 BuggyMLE-Bench-Lite,22 个任务乘以 4 个难度档,总共 88 个任务。难度档按注入的 bug 数量分:1 个、5 个、10 个、50 个。50 个 bug 那档最狠:仓库会膨胀到原来两倍大,每个任务里有 23 到 60 个注入的 bug。打分标准比“跑通了没有”严格得多,要同时满足三个条件才算“完全修复”:目标指标恢复到 99% 以上;仓库的入口还在执行被改过的模块,不能绕开坏掉的部分蒙混过关;每个注入的 bug 都要经过评判模型的逐个核查,确认是真的修好了,而不是把症状盖住了。只把指标修回来、bug 还留在里面,在这套标准下不算数。

注入的 bug 在仓库里的分布也值得一提。论文统计了 bug 对运行的影响:轻度与重度影响在 1 个、5 个、10 个 bug 三档占主导,灾难性故障很少见,执行直接崩溃的情况只出现在 50 个 bug 那档。bug 本身分布在机器学习流水线的各个阶段——数据、预处理、模型、训练、输出都有。也就是说,低难度档的题不是“改个错别字”那种小毛病,而是实实在在会让指标掉下来的问题;高难度档则会把仓库改到跑都跑不起来。这个分布设计是有意的:难度档之间的区别,不只是 bug 数量,更是 bug 对仓库的破坏程度。

这个“逐个核查”的设计,是整篇论文最值得注意的一处。很多基准只看最终指标,模型可以靠走捷径把数字修回来。BuggyMLE 要求每个 bug 现场都要过关,等于把“看起来修好了”和“真的修好了”分开算。后面成绩单里会出现一个反复出现的现象:有的模型指标恢复率很高,完全修复率却很低,差的就是这一步。

CCI:十个结构特征,就能预言一道题有多难

在造题之前,作者先回答了一个更基础的问题:到底是什么让一道编程题变难?他们的答案是一个叫代码复杂度指数(Code Complexity Index,CCI)的公式,只用十个结构特征,分成三组:仓库规模(代码行数、文件数、最深目录层级)、依赖深度(依赖数量、最长依赖链)、补丁规模(改了几个文件、几个代码块、新增行数、删除行数、总改动行数)。四个参数,把十个特征合成一个分数。

这个公式的厉害之处在于,它不用任何模型信息,却能预言模型在题上的表现。作者把它套到 8 个公开编程基准上,CCI 和各基准的平均解出率之间的拟合度 R² 是 0.951,几乎是一条直线。十个特征里最有预测力的是两个:补丁规模和整体复杂度。换句话说,一道题难不难,主要不看它考什么知识,而看它要改多少地方、改的地方牵扯多深。这个结论对造应用的人也有直接的启发,后面会细说。

CCI 的拟合用的是“留一法”交叉验证:每次拿掉一个基准、拿剩下七个拟合,再去预测被拿掉的那个,公式依然站得住。这说明它不是对着某一套题硬凑出来的,而是抓住了难度本身的一个侧面。不过作者也留了话:CCI 只有四个参数、十个结构特征,模型再强、题型再换,它能不能一直管用,还需要更多独立生成的合成题集来验证。论文的局限一节会再讲这一点。

CCI 还有一个作用:它让难度变成了一根可以滑动的标尺。以前的基准,难度是出题人手定的,模型一强就饱和;BuggyMLE 的难度是注入的 bug 数量,标尺可以一直往上滑。论文里画了一张图:同一个表格竞赛仓库,每多注入一个 bug,它的 ROC AUC 就往下掉一个台阶,注入第一个 bug 之后就掉到了 Kaggle 排行榜中位数以下。难度不再是玄学,是可以调的参数。

成绩单:从 95% 到 9% 的滑坡

14 个模型分三组参加评测:旗舰组是 Claude Opus 5.5、Claude Sonnet 5.5、Claude Sonnet 5、Claude Sonnet 4.6 和 Gemini 3.8 Flash;便宜组是各家最便宜的档位或同等规模的开源模型,包括 Claude Haiku 5.5、Claude Haiku 4.5、Gemini 3.5 Flash-Lite、Qwen3.8-27B 和没训练过的 Qwen3.5-9B;第三组是作者自己用 BuggyMLE 课表训练的 9B 模型和它的三个对照版本。所有模型跑同一个沙箱、同一个任务提示。

先看最容易的 1 个 bug 档:Opus 5.5 修好 95.5%,Sonnet 5.5 是 90.9%,Haiku 5.5 是 77.3%,Sonnet 5 是 63.6%,Qwen3.8-27B 是 40.9%,Gemini 3.8 Flash 和 Sonnet 4.6 都是 27.3%,没训练过的 Qwen3.5-9B 只有 13.6%,Haiku 4.5 是 9.1%,Gemini 3.5 Flash-Lite 是 4.5%。一个 bug 的时候,旗舰和便宜模型的差距已经拉开了,但顶尖模型基本都能应付。

难度一加上去,滑坡就开始了。5 个 bug 那档,Opus 5.5 跌到 31.8%,Sonnet 5.5 是 27.3%,其他模型全在 20% 以下。10 个 bug 那档出现了全场最有意思的反转:Sonnet 5.5 以 31.8% 排第一,作者训练的 9B 模型以 18.2% 排第二,Opus 5.5 只有 13.6%,和 Gemini 3.8 Flash 并列,其余模型全是 0%。到了 50 个 bug 那档,端到端的任务解决几乎消失:只有 Opus 5.5 修好 9.1%、Gemini 3.8 Flash 修好 4.5%,其余 12 个模型全是 0%。14 个模型里 13 个的分数随难度单调下降,顶尖模型的完全修复率从 95% 一路掉到 9%。

只看“修好没有”会漏掉一半故事,论文同时报了“恢复率”,也就是指标恢复了多少。Opus 5.5 在 10 个 bug 那档的恢复率是 92.2%,完全修复率却只有 13.6%。这就是“逐个核查”要抓的现象:模型把目标指标修回来了,但里面还有没修干净的 bug。Haiku 5.5 在同一档的恢复率是 71.1%,完全修复率是 0%。对造应用的人来说,这个差距比 headline 的分数更重要:一个智能体告诉你“修好了”,你得问它修的是指标还是 bug。

便宜组和旗舰组的差距也值得单独看。Sonnet 4.6 在 1 个 bug 那档只有 27.3%,5 个 bug 那档直接归零;Gemini 3.5 Flash-Lite 从 4.5% 起步,后面三档全是 0%;Haiku 4.5 只有第一档 9.1%。这些数字说明,便宜模型不是“差一点”,而是在多文件仓库调试这个任务上基本不能用。反过来,Haiku 5.5 在 1 个 bug 那档能到 77.3%,说明便宜档里也有能打的,但它的能力天花板很低,5 个 bug 就跌到 18.2%,10 个 bug 归零。选模型的时候,“便宜”这个标签本身说明不了什么,得看它在哪一档开始垮。

50 个 bug 那档还有个细节:作者训练的 9B 模型在那档修好的 bug 数量排第二,仅次于 Sonnet 5.5,但完全修复率还是 0%。论文的解释是,每次任务都在轮次或上下文上限处结束,往往还没来得及产出有效的提交就被截断了。也就是说,到了这个难度,瓶颈不只是“会不会修”,还有“能不能在有限的轮次和上下文里修完”。这对智能体产品的设计是个提醒:上下文窗口和轮次预算本身就是能力的一部分,窗口越大、轮次越多,不等于修得越好,但窗口太小、轮次太少,一定修不完。

四档难度下完全修复率对比:1 个 bug 时 Opus 5.5 为 95.5%、Sonnet 5.5 为 90.9%、Haiku 5.5 为 77.3%、9B 训练模型为 72.7%;50 个 bug 时只剩 Opus 5.5 的 9.1% 和 Gemini 3.8 Flash 的 4.5%,其余为 0%

最有意思的反转:90 亿参数的小模型靠“上课”追上旗舰

论文的第二个贡献比基准本身更值得读。作者拿 Qwen3.5-9B 做底子,用 BuggyMLE 合成了一套从易到难的训练课表:先在 200 个额外的机器学习仓库上按难度分三档——简单档 1 到 5 个代码块、中等档 10 到 12 个、困难档 30 到 34 个——用 5 个前沿教师模型(包括 Gemini 3.6 Flash 和 Gemini 3.7 Flash)生成 2724 条经过验证的修复轨迹做监督微调,再用强化学习(GRPO)按难度一档一档往上练。

结果是,这个 9B 的小模型在 1 个 bug 那档修好 72.7%,比只做监督微调的版本(50.0%)高出一大截;在 10 个 bug 那档修好 18.2%,超过了 Opus 5.5 的 13.6%,只输给 Sonnet 5.5 的 31.8%。两个对照组把道理讲得很清楚:只练简单题的版本,5 个 bug 和 10 个 bug 两档全是 0%,简单题练得再熟也上不去;只练难题的版本,1 个 bug 那档反而只有 22.7%,比只做监督微调的 50.0% 还低,因为题型分布变了,小模型顾不过来。只有从易到难完整走一遍的版本,两头都保住了。

更关键的是泛化。作者把这个小模型放到和训练数据毫无关系的通用编程基准上:SWE-bench Lite 的解出率从 24% 涨到 33%,LiveCodeBench v6 的一次通过率从 69% 涨到 71%。修机器学习仓库练出来的本事,搬到修普通软件仓库上也管用。这个结论的潜台词是:模型大小不是唯一的变量,训练任务的难度结构同样重要。一个 90 亿参数的模型,用对课表可以在特定任务上逼近旗舰;反过来,只堆参数、不讲究练什么,钱可能花不到点子上。

这篇论文对造应用的人有什么用

第一,改动越小,智能体越可能一次修对。CCI 的结论是补丁规模和复杂度最能预测一道题的难易,这对日常工作有个直接的推论:把一个大改动拆成几个小改动,不只是工程习惯,也是为了让智能体更容易成功。让智能体一次改 50 个地方,等于主动把任务推到它最不擅长的那档;先拆成一次改一两个地方、跑通测试再往下走,成功率会高得多。

第二,“指标恢复了”不等于“修好了”。BuggyMLE 的成绩单里反复出现这个差距:Opus 5.5 在 10 个 bug 那档把指标恢复了 92.2%,但完全修复只有 13.6%。自己用智能体修 bug 的时候,别只看它说“测试通过了”,要让它逐个讲清楚每个疑点是怎么定位、怎么修的,或者干脆换个模型、换个会话复核一遍。论文里那个“逐个核查”的评判思路,搬到日常工作里就是一句话:修完之后,一个一个 bug 现场过一遍。

第三,训练思路可以借鉴。只练简单题上不去、只练难题会顾此失彼、从易到难完整走一遍效果最好——这个结论不只对训练模型成立,对带新人、用智能体做 Code Review 也成立。先让智能体处理单文件的小修,再慢慢加到跨文件的任务,比一上来就扔一个 50 个 bug 的仓库要靠谱。论文里还有个细节:强化学习阶段最省轮次的进步出现在困难档,模型在那学会了少绕弯路、用更少的步骤修完。这说明“难”本身不是目的,难到刚好能学会新本事才是。

第四,评估要分档,不要只报一个总分。BuggyMLE 的做法是把同一批任务按难度分四档,每档单独报分数,滑坡曲线一目了然。团队内部评估智能体也可以照搬:准备三档任务——单文件小修、跨文件调试、带多个相互牵连 bug 的仓库——分别记分。只报一个“通过率 80%”的评估,等于把三档混在一起,根本看不出模型在哪档开始垮。分档之后,选模型、定提示词、判断“这个活儿能不能交给智能体”,都有了依据。

与本站已发内容的划界

智能体评测在本站不是新话题,边界必须划清。11 月 15 日的 SWE-CoWork 篇讲的是多智能体协作:测试通过六成、任务只做完不到一成,戳的是“编程智能体不会像人一样分工”的组织幻觉,锚点是协作结构。本篇的锚点不一样:BuggyMLE 讲的是难度本身——难度能不能量化、能不能滑动、训练课表的难度结构对能力有什么影响。两篇的共同点是都对“智能体很能干”这个说法泼了冷水,不同点是泼的方向:SWE-CoWork 泼的是“不会合作”,BuggyMLE 泼的是“题一难就垮”。

另外,11 月 11 日的 AWS UAEF 篇和 10 月 19 日的微软 Scope 篇讲的都是评估框架和工具,是“怎么给智能体打分”的产品;本篇讲的是一篇具体的学术论文,是“分数背后、难度从哪来”的研究。读完本篇再回头看那两篇,能更清楚地理解为什么评估工具需要“难度可调”这个功能:没有难度标尺的评估,分数很快就失去意义。

局限也要说在前面

这篇论文的结论有几处要打折扣,作者自己也在局限一节里写了。第一,CCI 只看结构特征,不看语义复杂度:两个仓库结构特征一样、实际要理解的领域知识天差地别,CCI 是分不出来的。把它当成普适规律,还需要更广的覆盖来验证,作者也承认,BuggyMLE 自己的任务在验证 CCI 时被排除了,为的是避免循环论证。第二,注入的 bug 是合成的,再可控也和真实世界里人写出来的 bug 分布不一样;一个模型擅长修合成 bug,不等于擅长修你仓库里那个跑了三年的祖传 bug。第三,评测的“逐个核查”用的是大模型当评判,评判本身也可能出错;而且全部结果都是作者团队自己的评测,作者来自谷歌研究院和 DeepMind,评的模型里有自家的 Gemini,也有对手的 Claude 和 Qwen,数字没有第三方独立复现。

还有一个数字值得单独拎出来:连干净的、没注入 bug 的仓库,在 Kaggle 排行榜上也只排在 49% 左右。也就是说,这些机器学习任务本身就很难,bug 只是让难上加难。BuggyMLE 没有解决“机器学习工程本身就难”这个问题,它做的是把难量化、把难分档,让后来的人知道自己在第几档、离下一档还有多远。对造应用的人来说,这个标尺比分数本身更有用:下次智能体在一个仓库上翻车,先问一句——这活儿按 CCI 算,到底在第几档?

阅读 0评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目

相关文章

一名开发者坐在双显示器工位前敲键盘,左屏是深色代码编辑器,右屏是带绿色对勾与柱状图的测试仪表盘,桌上有台灯和马克杯
资讯
你的智能体到底变好还是变坏了:AWS 开源 UAEF,给所有框架的智能体用同一把尺子量

2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。

开发工作流产品发布测试与质量
一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态
黑色背景上,一名指挥家背对镜头高举指挥棒,脚下环绕着旋转的光轨,像一支乐队正在被指挥
资讯
一个接口接 45 个模型,坏了自动换一家接着跑:Perplexity 的 Orchestrator 想当模型界的‘总机’

2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。

开发工作流产品发布模型动态