会拼分子,不会选药:OpenAI MedChemBench 测出 AI 制药的偏科成绩单
2026 年 11 月 20 日,OpenAI 发布 MedChemBench:99 道药物化学题,取自 117 篇论文和专利,覆盖 761 个分子。GPT-6.2 Astra 总分 84.5%,但拼分子结构拿 95.4%、选化合物只有 50.4%——总分好看,分项偏科,OpenAI 自己把红线画在了公告里。

一句话:总分 84.5%,但最关键的那两项只有一半
2026 年 11 月 20 日,OpenAI 发布 MedChemBench,一个专门考药物化学推理的新基准:99 道题,取自 117 篇论文和专利,覆盖 761 个不同的分子结构。 headline 数字很漂亮:在最高的 xhigh 推理设定下,GPT-6.2 Astra 拿到了 84.5% 的可用分数,GPT-6 Astra 83.3%,GPT-6.1 Sol 82.0%,GPT-5.6 Sol 58.2%。只看总分,这像是一个“AI 已经能搞药物研发”的故事。
但 OpenAI 在同一篇公告里把总分拆开了,拆开之后故事就变了。GPT-6 Astra 在“拼分子结构”这一项上拿了 95.4% 的分数,在“解释实验结果”上拿了 91.05%,在“选哪个化合物往下做”上只有 50.42%,在“预测数值性质”上只有 47.02%。模型最会干的,恰恰是离真正做决策最远的两件事;最不会干的,恰恰是药物化学家每天真正要做的判断:下一个该合成、该测试哪个化合物。这个基准的价值不在 84.5% 这个数字,而在它第一次把“会拼分子”和“会选药”分开算账。
药物化学是新药研发里最烧钱、最耗时间的一环:一个候选分子要同时满足一堆互相打架的要求——对靶点够强、能被身体吸收、代谢不能太快、毒性不能太高。改一个地方,另一个地方就可能变差。化学家的工作就是在这种权衡里做决定:设计一批相关分子、做出来、测一轮、再决定下一批做什么。MedChemBench 考的正是这个过程:模型拿到某个研究进行到一半时的全部上下文——靶点是什么、目标是什么、已经试过哪些化合物、实验结果如何——然后要回答:下一步该选哪个?这个能力如果真的过关,AI 就能进实验室的决策链;如果不过关,它就还只是一个很会读书的旁观者。
考什么:四项能力、七类任务
MedChemBench 把药物化学的工作拆成四项能力分别打分。第一是分子结构:按给出的图纸和化学基团,把分子正确地拼出来,原子连接方式和立体化学都不能错。第二是科学推理:用给出的实验证据解释结果,比如为什么选这个化合物而不是那个。第三是排序与选择:按要求给化合物排位、挑出符合条件的候选。第四是性质预测:预测的数值和类别要与文献报道的实测值或计算值吻合,接近实测值也能拿部分分。
99 道题分属七个类别:综合先导化合物选择 48 道、构效关系预测 26 道,剩下的分属吸收/分布/代谢/排泄(ADME)与递送、分子设计与枚举、安全与责任、逆合成、实验生物学与机制。其中 85 道题横跨不止一个科学领域——一道题可能同时涉及效力、选择性、细胞实验、代谢、暴露量和安全性,这正是一次先导化合物选择在真实研究里的样子。每道题都停在研究过程中的一个决策点上:模型看到的是当时已有的信息,后来的实验结果被扣下来,用来做参考答案和评分标准。
公告里举的例子很能说明这个基准的脾气。一道关于 PRMT5 抑制剂的题——PRMT5 是癌症药物研发里研究的一个蛋白质——模型要同时预测三个相关化合物的行为:在细胞里多强地抑制 PRMT5、多容易穿过细胞屏障、肝脏酶在体外实验里多快把它分解掉。后来被扣下的实验结果揭示了一个典型的权衡:23 号化合物在细胞里抑制 PRMT5 的浓度更低(更有效),24 号化合物却更容易穿过细胞屏障、在肝酶实验里分解得更慢。没有哪一个是全方位的赢家,模型必须同时权衡三项性质,而不是在某一项上拿最高分。
另一道题考的是更基础的东西:空间推理。模型要按中心结构加两个基团拼出一个分子,同时保住一个 18 元环。在所有 11 个模型共有的最高推理设定下,GPT-6 Astra 十次全对;GPT-5.6 Sol 十次全错,把 18 元环画成了 15 元环;GPT-5.6 Luna 十次全错,把分子拆成了两个不相连的片段。环的大小错了,分析的就是另一个分子——后面的性质推理再精彩也是错的。这个例子是整个基准方法论的缩影:先确认模型认对了分子,再谈它懂不懂化学。
成绩单:会拼分子,不会选药
先看总分。在 xhigh 设定下,GPT-6.2 Astra 84.5%、GPT-6 Astra 83.3%、GPT-6.1 Sol 82.0%、GPT-6.1 Terra 75.1%、GPT-5.6 Sol 58.2%。GPT-6 Astra 在最高努力设定下达到 83.8%。推理设定越高分数越好,但模型之间的差距一直都在:从 GPT-5.6 Sol 到 GPT-6.2 Astra,隔着 26 个百分点。评测规模不小:11 个 GPT 模型、61 种模型与推理设定组合、60390 条被评分的回答,每个任务在每种条件下保留 10 条回答。
再看分项,这才是关键。GPT-6 Astra 在 xhigh 下的四项得分是:分子结构 95.37%、科学推理 91.05%、排序与选择 50.42%、数值预测 47.02%。而这四项在总分里的权重并不平均:结构占 37.49%、推理占 35.78%、排序与选择占 17.51%、数值预测占 8.92%。也就是说,总分里超过七成的权重,来自模型最擅长的两项;最能代表“做决策”的两项,加起来只占约四分之一。84.5% 这个总分,是一个被“容易项”抬高了的平均数。
50.42% 这个数字尤其要小心解读。排序与选择是按成对比较计分的:随机乱排的期望分也在 50% 上下。换句话说,GPT-6 Astra 在“选哪个化合物”这件事上的表现,离随机水平并不远。数值预测的 47.02% 同样如此——预测值与实测值接近程度给部分分,但模型在这个维度上的得分还不到一半。OpenAI 自己在公告里提醒:不同类别用的任务和计分规则不一样,百分比不能直接当成难度比较。但即便按最宽容的读法,结论也不会变:模型在“看懂”和“选对”之间,隔着一道还没跨过去的坎。
还有一个容易被忽略的细节:技术论文是 11 月 9 日的,里面测的 11 个模型并不包括 GPT-6.2 Astra——84.5% 这个成绩只出现在 11 月 20 日的公告里,不在论文的评测表里。这不是造假,只是时间线:论文写完之后新模型才跑出这个分。但它意味着,84.5% 这个 headline 数字没有经过论文里那套完整的 60390 条回答的评测流程,它是公告单独追加的一条结果。读总分的时候,这一点应该记在心里。
这个 84.5% 是怎么算出来的:评分规则本身就是一半故事
MedChemBench 的评分不是一个模型说了算,而是确定性检查加模型评判的混合。分子结构用 RDKit 做确定性比对:模型提交的 SMILES(一种用文本表示分子图的方法)被转成标准异构形式,保留立体化学和同位素信息,再与参考结构逐项核对,错一个原子连接就不算对。数值预测一般按与实测值的接近程度(倍数误差)给部分分,离得越近分越高。科学推理则由另一个 GPT-6 Astra(中等推理设定)当评判,按任务标准给 0 分、半分或满分。排序题按成对比较计分,选题按与参考集合的重叠程度计分。
这套混合评分的好处是诚实:它没有假装所有能力都能用同一把尺子量。代价是总分变成了一个加权平均数,而权重本身就是一种判断——结构和推理占大头,是因为这两项在每道题里都出现、都好量化;排序和预测占小头,部分是因为它们只在部分任务里适用。读总分之前,先看权重表,这已经是这个基准教会读者的第一课。
评分里还有一个值得注意的设计:模型全程是单次作答,没有工具、没有反馈、没有新实验。模型不能查数据库、不能算一遍性质、不能改了再交。这在今天的智能体评测里是比较“裸考”的设置,好处是测出来的确实是模型本身的推理能力,坏处是它离真实工作流很远——真实的药物化学家会查文献、会算性质、会和同事讨论。OpenAI 在论文里提议的扩展方向正对着这个缺口:前瞻性案例、专家裁决替代答案、明确处理实验不确定性,以及一条允许检索、计算、结构验证和多步修正的智能体赛道。
OpenAI 自己画的三条红线
这篇公告最值得肯定的地方,是 OpenAI 把局限写在了正文里,而不是藏进附录。第一条红线:“这些结果不能证明模型可以发现新药,也不能证明可以改善实验室决策。”基准测的是对历史证据的推理,不是真实的新药发现——题目来自已经发表的研究,答案早就存在于文献里。
第二条红线是污染问题:模型在训练中读过这 117 篇论文和专利的可能性“无法排除”。作者做了一个启发式检查:给 99 道题全部加上来源的 DOI 或专利号,再让 9 个模型在 xhigh 下重跑一遍,平均总分的变化在 -0.23 到 +0.80 个百分点之间,所有模型的 95% 置信区间都包含零。这个检查的结论是中性的:它既不能证明污染存在,也不能证明污染不存在——只能说,加上来源标识本身没有系统性地改变分数。
第三条红线是基准本身的寿命。论文说,MedChemBench 以当前形式“接近饱和”——顶尖模型在结构和推理两项上已经逼近天花板;开放式设计与合成评分在一定程度上仍然依赖参考答案,合理的替代方案可能被判错。换句话说,这个基准的使命不是长期霸榜,而是先把“会拼”和“会选”分开,让下一代基准去考更难的东西:前瞻性案例、专家裁决、智能体赛道。
为什么这个基准仍然值得认真对待
三条红线划完之后,MedChemBench 剩下的价值反而更清楚了。第一,它考的是决策,不是知识。以前的科学基准大多考模型“知不知道”——背得出分子式、认得出反应类型;MedChemBench 考的是模型“会不会选”——在互相冲突的性质之间做取舍。这个转向和编程基准的转向是一回事:BuggyMLE 不只看指标恢复,还要逐个 bug 核查;MedChemBench 不只看总分,还要分项看决策能力。评测正在从“考知识”走向“考判断”,这是今年基准设计里最值得注意的趋势。
第二,它的分项设计让“偏科”无处可藏。一个只报总分的基准,会奖励那些在容易项上刷分的模型;一个把四项分开报的基准,会逼着所有人承认短板。GPT-6 Astra 的 95.4% 和 50.42% 放在同一张表里,本身就是一种诚实——OpenAI 完全可以只发 84.5%,但它选择了把 50.42% 也印出来。对读者来说,这比任何公关辞令都更有信息量。
第三,它给后来者留了路。论文明确写了扩展方向:前瞻性案例(用还没发表的研究出题,堵住污染的口子)、专家裁决(让化学家判断替代答案合不合理)、智能体赛道(允许检索、计算、多步修正)。一个基准在发布当天就写明自己的接班计划,这是少见的自觉,也是它可信的原因之一。
跟 GPT-6.2 发布篇划界
本站在 11 月 17 日已经发过 GPT-6.2 Astra 与 Sol 的发布篇,那篇的锚点是模型本身:更强、更便宜,但独立评测没跟上。本篇的锚点完全不同:MedChemBench 是一个 11 月 20 日发布的基准,GPT-6.2 Astra 在这里只是一个成绩——而且是论文评测表之外的、公告追加的一个成绩。两篇的主题、来源和判断各不相同,不构成重复。本篇提到 GPT-6.2 的地方,全部是作为基准分数出现,不涉及模型发布、定价或功能本身。
对造应用的人来说,这篇发布真正的启示不在药物化学,而在评估方法。团队内部评估模型或智能体时,最容易犯的错误就是只看一个总分:一个 84.5% 的总分,可能是 95 分和 50 分的平均,也可能是四项全在 84 分上下——这两种情况对选型意味着完全不同的结论。MedChemBench 的做法可以直接搬过去:把能力拆成几项、分别计分、公开权重、承认短板。分项之后,选模型、定提示词、判断“这个活儿能不能交给模型”,都有了依据。
对 AI 制药这条赛道意味着什么
MedChemBench 发布的时间点很微妙。过去两年,AI 制药的叙事一直是“模型越来越懂化学”:更大的模型、更多的论文、更漂亮的分子生成图。但这个基准把叙事拧了一下:懂化学和会做药是两回事。一个模型可以把 761 个分子的结构拼得几乎全对,却在“下一个合成哪个”上只有一半的把握——而后者才是实验室里真正花钱的地方:合成一个化合物要几周、测试一轮要几十万,选错一次的代价是真金白银。
对做 AI 制药工具的团队来说,这个基准等于发了一张新的考卷,而且是一张不好刷的卷子。以前的考法是让模型背知识、认结构,分项权重一摆出来,刷分空间就小了:结构项已经 95.4%,再往上挤的空间不到 5 个百分点;真正的差距在排序和预测这两项,而这两项恰恰是最难靠“多读论文”解决的——它们需要模型在互相冲突的证据之间做取舍,需要它对“不确定”本身有判断。换句话说,MedChemBench 把竞争从“谁读的论文多”推向了“谁更会做决定”,这对整个赛道的研发方向都是一个信号。
对投资人和旁观者,这个基准还有一个附带价值:它提供了一个不用听厂商讲故事的判断标准。以后再有团队说“我们的模型能加速新药发现”,可以先问一句:MedChemBench 四项分项各是多少?如果只有总分,没有分项,或者分项里排序和预测仍然只有一半,那就说明它和 GPT-6 Astra 处在同一个水平线上——会读书、会拼图,但还没到能替化学家做决定的程度。一个好的基准最大的作用,就是让夸大其词变得困难。MedChemBench 在这个意义上,已经完成了它一半的使命。
三点判断
第一,84.5% 是真成绩,但要按分项读。GPT-6.2 Astra 的总分领先,主要来自结构和推理两项;排序与选择、数值预测这两项,顶尖模型也只有一半左右的分数。任何把 MedChemBench 写成“AI 会搞新药了”的报道,都是在误读这个基准。
第二,评测范围目前只有 OpenAI 自家模型。11 个被测模型全是 GPT,没有任何外部模型参与,分数之间没有外部校准。GPT-6.2 Astra 的 84.5% 比 GPT-6 Astra 的 83.3% 高 1.2 个百分点,这个差距在 99 道题的规模下有多大意义,论文没有给出直接的显著性判断。等第三方模型跑上同一套题,排名才有真正的参照系。
第三,临床开发不在这个基准的射程内。MedChemBench 覆盖的是临床前药物发现,七个类别里没有临床试验、没有剂量、没有真实患者数据。模型在这里得分高,不等于它能进临床决策链。OpenAI 的红线划得很清楚:这是历史证据上的推理测试,不是新药发现能力的证明。读这篇发布,最重要的就是别把这两件事混在一起。
接下来值得看的有三件事:第一,有没有非 OpenAI 的模型跑上同一套题,补上外部校准这一环;第二,论文里提议的智能体赛道会不会落地——允许检索、计算和多步修正之后,排序和预测这两项能不能从 50% 附近抬起来;第三,前瞻性案例能不能堵住污染的口子,用还没发表的研究出题,看看模型在没见过的证据面前还剩多少本事。这三件事里任何一件有了结果,MedChemBench 的故事都要重写一遍。
评论 (0)
原始来源
相关文章
2026 年 11 月 18 日,谷歌研究院等团队在 arXiv 发布 BuggyMLE:往 222 个能跑的机器学习仓库里注入 bug,14 个模型从最简单的 95% 一路跌到最难的 9%。一个 90 亿参数的小模型靠从易到难的课表,在 10 个 bug 那档超过了 Claude Opus 5.5。
2026 年 11 月 20 日,Thinking Machines Lab 发布 Inkling 2 Mini:26.4B 参数的循环 Transformer,中间 12 层每 token 跑三遍,整机只有约 20GB,能在笔记本上离线跑。DeepSWE 48.2%、SWE-bench Verified 79.2%,在同体量开源模型里领跑——但知识短板和监控问题也写在官方博客里。
2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。