返回探索
资讯VibeFix 内容整理更新于 2026年11月11日

AI 进了实验室,却还当不了实验员:OpenAI 新基准 BioBasicsBench,GPT-6 Astra 只拿 66.7 分

OpenAI 发布 BioBasicsBench,用 100 道真实湿实验任务考 AI 智能体。最强模型 GPT-6 Astra 平均 66.7%,比 GPT-5.6 Sol 的 43.8% 高出一大截,但 OpenAI 自己提醒:分数高不等于能在实验室里做出可靠判断。

实验室里一只戴手套的手拿着培养皿——基准原图,Astra 发现标错抗生素的那块对照平板。

11 月 6 日,OpenAI 发布了一个新基准 BioBasicsBench。它不考模型会不会背生物课本,而是考模型能不能像一个真正的实验员那样,看懂实验室里每天产生的原始证据:模糊的凝胶照片、长满菌落的培养皿、显微镜下一闪而过的细胞、仪器导出的原始文件。100 道题,考的是日常湿实验分析——这是 AI 智能体第一次被系统地放到"实验台"上接受检验。

结果既让人振奋,也让人清醒。OpenAI 最强的模型 GPT-6 Astra 在最高推理档位下平均拿到 66.7% 的分数,比上一代 GPT-5.6 Sol 的 43.8% 高出一大截,而且用的 token 还少了一半。但 OpenAI 自己在文章里写下的结论是:"更高的基准分数,并不意味着模型已经可以在实验室里做出可靠的判断。"这句话不是客套——文章后半部分用三个具体的翻车案例,把这句话落到了实处。

这篇稿子就讲三件事:这个基准到底考了什么、66.7 分这个数字该怎么读、以及为什么一次"考得不错"反而更值得我们认真对待它错在哪。

先说结论:考的不是知识,是"看证据的手艺"

过去大多数科学基准,用的都是论文里挑出来的、修干净的图表和图像。模型要做的,是对着一张已经"讲好故事"的图回答问题。但真实的实验室不是这样的。OpenAI 在公告开头就点明了区别:日常湿实验里有失败的实验、模棱两可的图像、互相矛盾的观察,还有大量的故障排查。已有的基准测不到这种含糊,也就测不到处理含糊所需要的本事。

BioBasicsBench 是 OpenAI 和一家做酶设计的生物技术公司 Ligo 合作开发的。100 道任务覆盖五个日常实验领域:蛋白质方法、成像与流式细胞术、定量与检测、核酸方法、分子克隆。每一道题都来自 Ligo 科学家自己做过的真实实验,配上专家写的评分标准,并且经过三轮审校:一位没参与出题的 Ligo 科学家内部复核、一位在湿实验室工作的博士级科学家外部复核、最后再做一次内部终审。审校内容包括题目、实验证据、评分标准、作者笔记和一份已评分的模型作答。

题目给模型的东西,就是实验员每天面对的东西:凝胶与印迹图像(31 道题涉及)、实验方案与手写笔记(27 道)、表格与仪器导出文件(20 道)、实验台与试剂照片(18 道)、显微镜图像(14 道)、仪器屏幕截图(13 道)、测序原始文件(12 道)、操作视频(7 道)、琼脂平板与菌落(7 道),还有作为辅助材料的参考表(21 道)。一道题可以同时包含好几种证据。模型要交出一份结构化答案:结论、测量值或建议,必要时附上推理过程。评分按细则逐项给分,答对结论和答对一半分析,是不一样的分数。

这个设计里最值得注意的一点,是它把"识别证据不足"也列为考核能力。很多任务的正确答案不是某个数值,而是"现有证据不足以得出结论"。这对今天的 AI 模型来说是最难的一关:它们被训练成永远要给出一个答案,而科学要求你在证据不够的时候闭嘴。

66.7 分到底是什么意思

先把数字口径说清楚,这很重要。OpenAI 报告的指标叫 mean reward(平均奖励分),也就是模型在 100 道题上平均拿到的分数占满分的百分比,允许部分给分。66.7% 不是"做对了 66.7 道题",而是平均拿到了三分之二的分数。两者差别很大:一道题答对结论但推理站不住脚,或者数值对了但漏掉关键提醒,都只能拿部分分。

OpenAI 一共测了自家七个模型、37 种模型与推理档位的组合,每种组合对每道题各尝试五次,总计 18,500 条评分结果。在最高推理档位 xhigh(所有七个模型都有报告的最高档位)下,成绩如下:GPT-6 Astra 66.7%(95% 置信区间 60.3–73.1%),GPT-6.1 Sol 62.0%(55.6–68.4%),GPT-5.6 Sol 43.8%(37.6–50.0%),GPT-6 Luna 38.3%,GPT-5.5 35.4%,GPT-5.4 33.2%,GPT-5.2 31.2%。

有三层信息值得拆开看。第一,代际差距是真实存在的:Astra 比 Sol 高出 22.9 个百分点,而且两者的置信区间没有重叠(60.3–73.1% 对 37.6–50.0%),这不是抽样噪声能解释的。第二,效率也在同步提升:Astra 平均每道题只用 4,704 个输出 token,Sol 要用 9,099 个——分数更高,花得更少。OpenAI 自己的解释是,更强的原生多模态能力可能是关键:Astra 能从实验照片里读出更细的细节。第三,天花板还远:即便是最强的模型,也有三分之一的分数拿不到。100 道"实验员应该能可靠完成"的日常任务,最强模型平均只拿到三分之二。

实验室里一只戴手套的手拿着培养皿——基准原图,Astra 发现标错抗生素的那块对照平板。

还有一个必须写明的局限:这七个模型全是 OpenAI 自家的。基准发布时没有 Claude、Gemini 或任何开源模型的分数,也没有公布人类实验员的基线成绩。所以 66.7% 这个数字目前只能做一件事——衡量 OpenAI 自己两代模型之间的进步。它还不能回答"AI 实验员离人类实验员还有多远",因为另一端根本没有标尺。

它进步在哪:三个做对了的细节

OpenAI 在文章里给了三个 Astra 比 Sol 强的地方,每一个都值得展开,因为它们展示的不是"知识更多",而是"判断更像人"。

第一个是"知道什么不能下结论"。一道细胞成像题里,Sol 根据一种死细胞染料的信号,把细胞判定为死亡。但检测器也可能收到第二种染料的光,单凭亮度根本无法下这个结论。Astra 识别出了这种模糊性,要求用更好的对照把两个信号分开。这不是生物知识的胜利,而是克制——模型没有被"看起来像答案"的东西推着走。

第二个是"会检查对照组有没有问题"。一道 DNA 克隆实验题里,Sol 看到阴性对照平板上没有菌落,就据此推导结论。Astra 注意到,这个平板标注的抗生素是卡那霉素(LB Kan50),而实验用的是氨苄青霉素——对照本身就标错了,不能作为可靠的对照。封面那张照片就是这道题的原始证据:戴手套的手拿着培养皿,边缘手写的"LB Kan50"被圈了出来。一个标错的标签,决定了整个实验的结论是否成立。能抓住这种细节的模型,才有资格谈"进实验室"。

第三个是"记得实验的物理背景"。一道显微镜任务里,细胞在一系列图像中时隐时现。Sol 试图找一个生物学解释,Astra 则正确地认出这是一组 z-stack——显微镜在不同深度逐层扫描的图像序列,细胞"消失"只是因为焦点移开了。模型没有被表面的现象带跑,而是想起了数据是怎么产生的。

它翻车在哪:三个值得记住的错误

文章最有价值的部分,是 OpenAI 毫不避讳地展示的三个失败案例。它们比分数更能说明"AI 实验员"今天的真实水平。

第一个错误,是让先入为主的假设压倒了对照组。在一道菌落 PCR 任务里,Astra 正确区分了两组菌落条带,但它先入为主地认定"更大的 PCR 产物代表克隆成功",于是推荐了 4、6、7、8 号泳道对应的菌落。而根据对照组比较得出的参考答案是 5、9、10 号。两组条带分对了,身份却标反了——选出来的菌落携带的是旧质粒,后续纯化会得到错误的东西。OpenAI 的措辞很克制,但后果很具体:一个看似正确的中间观察,没有引导出正确的最终决定。

第二个错误,是用部分证据概括整体。Astra 在一张显微镜图像里得出结论说,液泡(细胞内的 compartment)通常比周围细胞更暗。但同一张图里有些液泡看起来更亮——改变显微镜的焦距会反转对比度。Astra 其实检查了多个区域,甚至评论过对比度随焦点变化,但最后还是只保留了"聚焦更好"的那些较暗细胞的描述,把矛盾的亮色区域排除在结论之外。检查了矛盾证据,却没有让它进入结论,这比"没看到"更值得警惕。

第三个错误,是最日常、也最说明问题的:数菌落数错了。Astra 在一块平板上把相邻的两个菌落算成一个,漏掉了两个看得见的菌落,还把一块空琼脂也算成菌落。净结果是比参考答案多算了约 12%。菌落计数直接决定转化效率的估算——在接种体积和稀释度固定的情况下,多算 12%,效率估计就跟着虚高 12%。这不是高深的推理失败,而是一个本该"看一眼就会"的基础操作失了手。

五类任务,一张能力地图

100 道题是怎么分布的,也值得看一眼。按原文表格,蛋白质方法 25 道、成像与流式细胞术 23 道,是占比最大的两类;其余分布在定量与检测、核酸方法、分子克隆三个领域。更能说明问题的是每道题考的能力标签(同一道题可以带多个标签):默会知识(tacit knowledge)88 道、图像与数据解读 88 道、错误发现 68 道、实验方案理解 50 道、识别证据不足 19 道。

这张能力地图的重心很清楚:基准的中心不是"知不知道",而是"会不会看、会不会判断"。88 道题要求默会知识——那种写不进教科书、只在实验台前才能积累的经验,比如"这条带看起来不太对"、"这个颜色变化说明反应还没完"。88 道题要求读图读数据。相比之下,"识别证据不足"只有 19 道,是最少的一类。这是一个值得记下来的设计张力:恰恰是最难、最能区分"助手"与"实验员"的那项能力,在题库里占比最低。OpenAI 没有解释为什么是这个比例,但对读者来说,这意味着 66.7% 这个总分里,"敢说不知道"的部分权重很小——如果未来版本把这类题加到三分之一,分数很可能会下来,而那个分数会更诚实。

还有一个细节:评分是按细则逐项给分的。一道题的结论、数值、推理过程、"证据不足"的识别,各自占分。这意味着模型可以"结论对、推理错"只拿一半分,也可以"结论错、但正确指出了对照组的问题"拿到一部分分。这种设计比传统的对错二分更接近实验室的真实评价:一个实验员的价值,不只在于最后报的数字对不对,还在于他有没有在过程中发现问题、留出余地。

为什么是现在:从"会答题"到"会干活"

BioBasicsBench 出现的时间点本身就说明了问题。过去两年,AI 评测的主战场是"会不会答题":数学、编程、专业考试,模型在这些干净的测试集上一个接一个地超过人类水平。但答题和干活是两回事。答题时题目是别人出好的,条件是给全的,答案是唯一的;干活时证据是 messy 的,条件是残缺的,答案常常是"再做一次实验看看"。OpenAI 在公告开头的那句话——日常湿实验里有失败的实验、模棱两可的图像、互相矛盾的观察——其实是在给整个评测行业划一条线:从"考知识"转向"考判断"。

这个转向对 AI 智能体的商业化同样重要。今天大量 AI 编程助手、AI 客服、AI 科研助手正在进入真实工作流,它们面对的都是和湿实验室一样的处境:输入不干净、指令有歧义、错误代价真实存在。一个只在干净测试集上拿高分的模型,进了真实工作流可能会自信地犯错——就像 Astra 在 PCR 泳道前那样,分组分对了、结论选反了。BioBasicsBench 的价值,在于它把这种"自信的错误"变成了可以测量、可以比较、可以追踪改进的东西。

当然也要看到边界。OpenAI 在文末写道,追踪这类能力的发展,也有助于理解它们对生物安全的影响。这句话的潜台词是:能读懂实验室数据的模型,离能操作实验室数据的模型并不远。读懂凝胶、认出菌落、理解实验方案——这些能力本身是中性的,但它们也是自动化生物实验的前提。今天的讨论还是"模型能不能当实验助手",明天的讨论可能会变成"模型能做什么样的实验、该由谁来决定"。基准本身不回答这个问题,但它让这个问题变得具体了:当分数从 66.7% 爬到 85%、90% 的时候,实验室的门应该向 AI 开到多大?这个问题,现在就可以开始想了。

为什么这篇公告值得认真读,而不是只看分数

有两点判断想写清楚。第一,BioBasicsBench 的方法论本身比分数更有推广价值。它示范了一种评测思路:别再用修干净的论文图考模型,拿真实的、 messy 的原始证据考;别只给对错二分,用细则部分给分;别只考"答得出",考"知道答不出"。这个思路不只适用于生物实验室,任何一个"AI 要进真实工作流"的领域——客服工单、财务对账、代码审查——都面临同样的问题:干净的测试集测不出脏活。

第二,也要对这篇公告保持应有的保留。发布时,OpenAI 的公告里没有附上数据集、评分标准或评分代码的公开链接,独立检查者在 11 月 6 日当天核对时确认了这一点。也就是说,外界目前无法自己跑一遍这个基准、复现分数,也无法检验评分标准本身是否奖励了正确的东西。所有数字都来自 OpenAI 自己测自己——七个模型全是自家的,任务来自合作方 Ligo 的实验。这不是说数字不可信,而是说它还处在"厂商自报"的阶段,独立验证还没开始。OpenAI 也在文末提了一句:追踪这类能力的发展,也有助于理解它们对生物安全的影响。这句话值得留意——能读懂实验室数据的模型,和能操作实验室数据的模型之间,只隔着一层执行接口。

所以 66.7% 这个数字的正确读法是:AI 读实验室证据的能力确实在快速进步,一代之内从 43.8% 跳到 66.7%,而且更省 token;但它离"可以信赖"还差得很远——它会在对照组标错时抓住问题,也会在 PCR 泳道前选错菌落;它能认出 z-stack,也会在数菌落时多算 12%。一个会在基础操作上失手的"实验员",今天还不能独自值班。

对做 AI 产品的人来说,真正的启示在文章的最后一节:OpenAI 说,BioBasicsBench 的目标是让科学家少花时间在故障排查上,多花时间决定下一个实验做什么。这个排序是对的——先把"看证据"这件事做可靠,再谈"做实验"。而对所有把 AI 往专业工作流里推的团队,这篇公告也是一个提醒:你的评测集里有没有"脏数据"?有没有"证据不足"的正确答案?有没有一道题,是专门用来抓模型"自信过头"的?如果没有,你的分数可能只是在测量模型背书的能力,而不是干活的能力。

阅读 5评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目