83% 不是医生的成绩单:微软 MAI-DxO 登上《科学》,测的是问诊过程而非看病能力
微软 MAI-DxO 10 月 22 日登上《科学》:在 304 个疑难病例上 83.2%,医生对照组 36.1%。但分母并不相同——医生只测了其中 56 个保留病例,且是纯文本模拟、单独工作的全科医生。本文把数字放回测量条件,并给出给 vibe 开发者的过程、成本与复现三点启示。

发生了什么:一篇《科学》论文,和一个被误读的 83%
2026 年 10 月 22 日,微软 AI 与《科学》杂志同日公布了一项研究:论文《Sequential diagnosis with language models》(用语言模型做序贯诊断)刊登于《科学》第 394 卷,微软 AI 同步发表了题为《Building Medical Superintelligence》的公告。研究的主角是两样东西:一是序贯诊断基准 SDBench,二是建立在这个基准上的系统 MAI-DxO(Microsoft AI Diagnostic Orchestrator,微软 AI 诊断编排器)。最先被传播开的数字是 83.2%:在 304 个《新英格兰医学杂志》临床病理讨论病例上,搭配 GPT-5 的 MAI-DxO 达到了 83.2% 的诊断准确率,而参与对照的全科医生在可查资料条件下的平均准确率是 36.1%,在不可查资料条件下是 22.3%。在另一组 325 个急诊入院病例上,MAI-DxO 为 80.3%,医生为 46.8%。
这些数字一出,“AI 打败医生”的标题立刻开始流传。本文的立场是:先把标题放下,把数字放回它原来的测量条件里再看。因为这篇论文真正有价值的地方,恰恰不是“谁赢了”,而是它换了一种出题方式:不再把完整病例一次性交给模型、让它选一个答案,而是让诊断者和模型都从一段简短的病情摘要出发,一步一步决定问什么、查什么、什么时候下结论,并且每一步都要付出“检查成本”。诊断在真实世界里本来就是这样进行的:医生不是先拿到全部化验单再看病,而是在信息不完整的情况下,一边问、一边查、一边修正判断。SDBench 把这个过程变成了可以测量的东西,这才是它值得写一篇长文的原因。
SDBench 是怎么考的:不是选择题,是问诊过程
理解 SDBench,先要理解它和传统医学基准的区别。传统的医学考试式基准,比如执业医师考试题,是一次性把所有信息摆出来:主诉、现病史、体格检查、化验结果全给你,然后问“最可能的诊断是什么”。这种题目测的是知识储备,不测临床过程。而 SDBench 把 304 个《新英格兰医学杂志》临床病理讨论病例和 325 个来自 MIMIC-IV-ED 数据集的急诊入院病例,转化成了一场一场的交互式问诊:参与者(医生或 AI 系统)先拿到一段简短摘要,然后可以提问、可以开检查、也可以在任何时候提交最终诊断。最终诊断由一个“法官”智能体按医生制定的五级量表打分,达到 4 分或 5 分(即管理方案不变的诊断)才算正确;同时,每一次检查都会按 CPT 定价估算成本,问诊过程本身也被计入成本。
这个设计里还有两个配角智能体,值得单独说清楚。一个是“守门人”(Gatekeeper):它掌握完整病例档案,负责回答诊断者的提问和检查申请;如果申请的内容在原始记录里根本没有,它会生成“诊断上中性”的合成结果,而不是直接说“没有这项数据”——因为“没有”本身就可能泄露答案。另一个是“法官”(Judge):它按五级量表把提交的诊断和参考诊断做比较。也就是说,SDBench 测的不是模型知不知道某个罕见病的名称,而是它会不会问对问题、会不会避免无差别开检查、会不会在证据足够时及时收手。微软 AI 的公告也强调,基准衡量的既是答案,也是“拿到答案的路径”。
MAI-DxO 在这个基准里的工作方式,官方的比喻是“一个虚拟医生小组在辩论”。它不是让单个模型直接给答案,而是模拟多个互补角色的临床专家:各自提出诊断、选择有用的问题或检查、挑战正在形成的判断,经过多轮辩论后更新评估,同时在每一步权衡检查的预期价值和成本。微软称这套编排是模型无关的,也就是说它可以搭在不同厂商的模型上;本次论文的主结果用的是 GPT-5,发表前又用 GPT-5.5 全套重跑了一遍,结论是编排带来的优势没有随着模型变强而消失,反而有所扩大。这个“模型无关”的说法如果成立,意义比某一个模型的分数更大:它意味着改进的来源不只是底座模型变大了,还包括工作流本身的设计。
数字要怎么读:83.2% 对 36.1%,分母并不相同
现在回到最受关注的那组数字,并且把容易被标题省略的前提补齐。先说病例数:MAI-DxO 的 83.2% 是在全部 304 个《新英格兰医学杂志》病例上测得的;而医生的对照研究是在其中 56 个“为工程开发保留、未参与调参”的病例上做的,医生一共给出了 764 次闭卷诊断和 662 次开卷诊断,平均准确率分别为 22.3% 和 36.1%,表现最好的单个医生是 51.8%。也就是说,这不是同一批病例、同一规模样本的“同场竞技”,而是“系统在全量病例上的成绩”与“医生在 56 个保留病例上的成绩”之间的比较。把分母讲清楚,并不是要否定 83.2% 的含金量——即使只看 56 个病例的子集,差距仍然很大——而是要防止读者把这组数字误读成“医生在日常工作中的诊断准确率只有 36%”。日常诊疗有体格检查、有影像、有团队讨论、有随访,这些在 SDBench 的纯文本模拟里都不存在。
再说成本。MAI-DxO 在无预算约束下,复杂病例的平均成本是每例 5431 美元;施加预算约束后,80.9% 的准确率对应 2241 美元,79.6% 对应 1303 美元;而追求极致准确率的配置可以达到 84.5%,但成本上升到 8945 美元。医生在复杂病例上的平均成本是闭卷 3049 美元、开卷 4725 美元;急诊病例上,MAI-DxO 无约束为 80.3% / 4979 美元,医生为 46.8% / 3400 美元,表现最好的急诊医生是 62.5%。微软公告里“在不到一半成本下达到 81%”的说法,对应的就是那个 81% 左右的成本优化配置,而不是无约束的最高分配置。读成本数字时同样要留神:这些成本是按 CPT 定价和一家大型医疗系统的收费标准估算的,不是真实医院账单,更不是真实世界里“用了这套系统就省了多少钱”的证据。论文的价值在于它同时报告了准确率和成本,让后来者可以在同一张图上比较“准确率-成本前沿”,而不是只比谁的准确率高。
还有一个揭示工作方式差异的细节:MAI-DxO 在开出第一项检查之前,平均会先问 25.5 个问题,而医生平均只问 5.6 个问题就开始开检查。论文把这种策略描述为“广泛的结构化问诊先行”。这个差异很有意思:它说明 MAI-DxO 的优势有一部分来自“问得更多、问得更系统”,而不是单纯“知道得更多”。对 vibe 开发者来说,这是一个可以直接借鉴的设计启示:很多 agent 系统的问题不是模型不够强,而是它在信息不完整时过早下结论、过早调用高成本工具。先问、再查、再定论,并且给每一步标价,是一种可以迁移到客服、运维、法务审查等其他“序贯决策”场景的工作流模式。
编排到底加了多少分:GPT-5 单独是 78.9%
另一个值得单独拎出来的数字,是基线模型的成绩。据对论文图表的梳理,GPT-5 在不加编排、只用最简提示的情况下,在复杂病例上是 78.9%;加上 MAI-DxO 的编排后,达到 83.2%。也就是说,编排带来的提升大约是 4 个百分点左右;论文还报告,在全部受测模型上,编排平均提升复杂病例 7.9 个百分点、急诊病例 4.4 个百分点。这个比例关系很重要,因为它纠正了两种常见的误读:第一种是“全靠 GPT-5”,第二种是“编排无所不能”。真实情况介于两者之间:底座模型已经很强,编排是在强底座上再往前推了一步,而且这一步在不同模型上都存在,不是只为某一个模型定制的作弊技巧。
对做 agent 产品的读者来说,这个结论的含金量甚至高于 83.2% 本身。今年的 agent 产品讨论里,经常出现一种“模型决定论”:换一个更大的模型,问题就解决了。MAI-DxO 的实验提供了一个反例:同样一个 GPT-5,换一种工作流——多角色辩论、成本意识、聚合多轮独立运行的结果——成绩就变了。这说明在很多真实任务里,工作流设计和模型选择是乘法关系,不是加法关系。当然,这也意味着 MAI-DxO 的成绩不能直接平移到其他任务:序贯诊断这个任务特别适合“多问、多辩论”的工作流,因为它的信息本来就是逐步揭示的;对于信息一次性给全的任务,同样的编排未必有同样的收益。把工作流当作可复用的方法论,而不是当作万能模板,是更诚实的读法。
论文自己划的红线:四条不能越过的结论边界
这篇论文难得的一点是,它在正文里自己把结论边界划得很清楚,本文把这些边界原样转述,因为它们比任何第三方的“泼冷水”都更有分量。第一,论文明确写道,这些比较“不能证明优于专科医生、多学科团队或真实世界的临床实践”。对照组是单独工作的全科医生,不是专科团队;真实诊疗还有体格检查、影像、病理切片、多学科讨论和长期随访,这些在纯文本基准里都被抽掉了。第二,病例本身是经过挑选的:《新英格兰医学杂志》的临床病理讨论病例以疑难、罕见、教学价值高著称,天然会放大“问得多、想得全”的系统的优势,而急诊病例虽然更接近日常,但仍然是历史文本记录,不是真实患者。
第三,评分标准有局限:法官量表评的是“疾病层面的诊断是否正确”,而不是“治疗方案是否恰当、是否安全、长期管理是否合理”。一个诊断在疾病名称上正确,不等于它的处理建议就是安全的;论文没有声称自己测了后者,读者也不应该替它声称。第四,作者与利益披露:据报道,全部 15 位作者均为微软员工并持有公司股权,其中数人还是相关专利申请的发明人,研究没有来自微软之外的资金。这些披露不等于研究不可信——同行评审的《科学》论文仍然有它的分量——但它意味着这是一次“厂商主导、厂商评估”的研究,独立团队的复现结果尚未公布。在复现之前,最稳妥的表述是“微软报告的基准成绩”,而不是“已被证实的临床能力”。
微软自己给出的下一步,恰好也是对这些边界的回应:与波士顿的 Beth Israel Deaconess 医学中心合作,开展一项前瞻性研究,让患者直接与系统交互,并把系统表现与医生的独立评估做比较;同时,微软表示将把 SDBench(针对部分《新英格兰医学杂志》病例)开源,包括基准、守门人、法官和成本估算代码。开源的意义在于,批评者不再只能评论论文里的数字,而是可以自己跑一遍基准、换一个模型、改一个评分规则,看看结论还站不站得住。对读者来说,判断这项研究最终价值的时间点,不在 10 月 22 日的发布日,而在独立复现和前瞻性研究结果公布的那一天。在那之前,任何“医院应该立刻部署”的建议都为时过早。
给 vibe 开发者的三点启示:过程、成本与复现
第一,把“过程”变成可测量的指标。很多 agent 产品的评估只看最终答案对不对,不看它问了多少问题、调用了多少次高成本工具、在什么时候决定收手。SDBench 的做法是把这三件事都变成基准的一部分:准确率、提问与检查的数量、累计成本。这套思路可以直接迁移:做客服 agent,就测它在转人工之前问了几个有效问题;做运维 agent,就测它在重启服务之前排除了几个假设;做法务审查 agent,就测它在下结论之前引用了几条依据。只测终点,agent 就会学会“猜答案”;同时测过程,agent 才会被迫学会“做工作”。
第二,给每一步标价,并且允许“省钱版”和“极致版”共存。MAI-DxO 同时报告了多个成本点的成绩:无约束、轻约束、重约束、极致准确率。这比只报一个最高分诚实得多,也更接近真实产品决策:用户在不同场景下对成本和准确率的偏好本来就不同,急诊分诊和罕见病会诊就不应该用同一个配置。Vibe 项目里常见的错误是只给 agent 一个默认配置,然后抱怨它“太贵”或者“不够准”;更合理的做法是像 MAI-DxO 这样,把配置做成显式的档位,让用户在“省一点”和“准一点”之间自己选,并且把每个档位的实测成绩写进文档。
第三,区分“厂商报告”与“独立复现”,并且把这个区分写进你自己的对外文案。微软这篇论文的传播史就是一个现成的教材:发布当天,标题大多是“AI 胜过医生”;读完论文的人才会补充“在纯文本模拟里、对单独工作的全科医生、在 56 个保留病例上”。Vibe 开发者在对外介绍自己产品时,也会面临同样的诱惑:把基准成绩写成通用能力。更长久的做法是反过来:在产品页上写清楚基准名称、测试条件、对照组和局限,并且附上复现方法。这样做短期看会“显得不够厉害”,长期看却能换来用户的信任——而信任恰恰是医疗、金融、法务这类高风险场景里最稀缺的产品属性。
判断:这是一次基准方法的进步,不是一次临床能力的官宣
综合来看,MAI-DxO 登上《科学》的意义,应该被定位为一次“测量方法”的进步,而不是一次“临床能力”的官宣。它证明了两件事:第一,诊断可以被建模为序贯决策过程,并且这个过程可以被基准化、被计价、被比较;第二,在这样的基准里,多角色编排的工作流确实能在强底座模型上再往前推一步,而且这个提升在不同模型上都存在。它没有证明的事同样重要:它没有证明 AI 在真实诊疗中优于专科医生或多学科团队,没有证明它能改善真实患者的结局,也没有证明它的成本优势会在真实医院账单里兑现。把这两边分开写清楚,不是给微软泼冷水,而是对这项研究最基本的尊重——因为论文作者自己就是这么写的。
对 VibeFix 的读者来说,最值得带走的不是 83.2% 这个数字,而是 SDBench 背后的工作方法:让 agent 在信息不完整时先问、再查、再定论;给每一步标价;同时报告多个成本档位的成绩;并且把“厂商报告”与“独立复现”分开标注。下一次你看到任何“AI 胜过人类专家”的标题时,可以直接套用这篇论文的读法:先问病例数和分母,再问对照组是谁,再问成本怎么算,最后问有没有独立复现。这四个问题问完,大多数标题都会自动回到它应有的尺寸。本文不是医疗建议,也不构成对任何医疗产品的推荐;如果你或你身边的人面临真实的医疗决策,请以执业医生的判断为准,而不是以一篇基准论文的分数为准。

评论 (0)
原始来源
相关文章

Block 10 月 23 日公开的 Dessa 只从人类对话录音里学习,不用文本、不用预训练模型,能一边听一边说、本地跑在 MacBook Pro M4 Max 上。但它目前没有公开入口、没有基准成绩,演示的自然度不等于通用能力,本文把厂商主张与未证实的部分分开写清楚。

Canva 10 月 22 日发布自研图像模型 Craft:先规划版式、再渲染画面,训练数据是数百万张人类设计模板而非照片,最高 2K、30 多种宽高比,图内文字支持 55 种语言。榜单成绩与价格仍是厂商口径,本文给出三组对照实测法与开发者接入清单。

Kling 4.0 于 10 月 16 日全球上线:原生 30 秒生成、最多 10 个关键帧、最多 15 个多模态参考。但它真正的变化不是时长,而是控制权——从抽卡式生成转向可导演的生产流程。本文同时写清了它的三处留白:API 定价未公布、无标准化基准、HDR 与超宽画幅尚未上线。