"AI诊断已经达到甚至超过医生水平"——过去两年,这类新闻的依据大多是一种"笔试":把一份整理好的完整病例摘要交给模型,让它给出诊断。模型考得确实漂亮。
但真实门诊不是笔试。病人不会带着一份提炼好的病历走进诊室;医生得自己问、自己查、自己开检查,像侦探一样一步步缩小范围——医学上叫"假设-演绎"过程。今年10月和11月,几支研究团队先后把AI从考场搬进模拟诊室。其中最直接的证据来自11月10日挂出的一项研究:题做得再好的模型,一进"诊室"就掉链子——而掉链子的地方,恰恰暴露了AI诊断真正的短板。
## 同一个模型:笔试83.9分,口试47.4分
11月10日挂上arXiv的一项研究做了件狠事:把《新英格兰医学杂志》的1000个真实病例报告,改造成可以对话的"模拟接诊"——AI从一句主诉开始,得自己向模拟患者提问、要求体格检查、开化验和影像,最后给出诊断。研究者让七个大小不一的语言模型分别在两种设定下应考:一种是传统笔试(完整病例直接给它),一种是这场"口试"。
差距一目了然。两种考试都按"正确或部分正确"的宽口径计分:笔试时,最强的GPT Luna 6拿到83.9%;可一进口试场,它只剩47.4%。**七个模型无一例外全部大幅下滑,每一项下滑都通过了统计显著性检验(排除了"碰巧"的可能)**。下滑最狠的正是笔试冠军GPT Luna 6——掉了36.5个百分点,口试排名直接跌到第三;最抗跌的GLM 5.3 Flash和DeepSeek V4.1 Flash也要掉25个百分点上下。口试第一名(GLM 5.3 Flash,54.4%,同口径)的成绩,还不到笔试最高分的三分之二。
研究者给这个差值起了个准确的名字:**采集损失**——因为证据必须自己问出来,而不是被递到手上,准确率付出的代价。
## 短板不是知识,是"知道该问什么"
掉分到底掉在哪?是问不出信息,还是问到了也综合不出诊断?上面那项研究做了一个很聪明的实验来拆解题:让口试最强的GLM 5.3 Flash先完成全部问诊,把问诊记录固定下来、抹掉它自己的最终诊断,再把这份**一模一样的问诊记录**发给其余六个模型,让它们只答最后一题。
结果:信息恒定之后,**所有模型的准确率都比自己问诊时回升了,而且升得最多的,恰恰是问诊问得最差的那几个**。这说明诊断推理(综合证据下结论)并不是主要瓶颈;真正拉开差距的,是前一段——会不会问。作者的结论写得很直白:只要相关数据摆在面前,大模型的推理相当不错;但它们的短板在"假设驱动的信息获取"——用他们的话说,是"为了知道,得先知道该问什么"。不过要注意:即便拿着最会问诊者的病历记录,各模型的成绩仍比自己的笔试低一截——有些关键证据,连最好的问诊也没能问出来。
同月挂出的另一个基准DiagTrace从不同角度确认了这一点:510个跨8个专科的病例(源自公开的病例报告文献),其中225个用于给四个模型实测;考察的不只是最终诊断,而是AI能否**重建病历里真实发生过的诊断路径**——先问什么、后查什么、什么时候停。四个模型的共同表现是顾此失彼:覆盖面、提问顺序与真实病程的一致性、轮次效率,三者难以兼得。
十月底挂出的ClinVerse则把这事做成了训练场:15万个源自真实电子病历的病例、医生/护士/患者/检验/评审等六个角色的模拟环境,并且把诊断过程拆成三段分别打分——信息获取、检查开单、诊断准确。论文剖析的一个失败案例很有警示意义:AI的证据采集并不差,风险因素和异常发现都指向缺血,它却没能把这些信号整合起来,最后只给出一个症状层面的诊断。作者的结论是:**采集到相关证据,本身并不保证诊断准确**——"问"和"想"是两道独立的坎。
## 人的那一半:AI写不写推理,医生准确率差12个百分点
AI在学问诊,那医生这一侧呢?今年4月发表在《npj数字医学》上的一项随机实验(两千余次——2020次——放射科医生的阅片评估)给出了一个容易被忽视的答案:**AI怎么"说话",直接改变医生的诊断准确率**。实验做了预注册——开做之前就把假设和分析方案公开登记,防止事后挑数据。
实验把医生分成四组:无AI辅助、AI只给诊断结论、AI给鉴别诊断列表、AI把推理过程一步步写出来(思维链);每组只有二三十名医生,各读20个病例——样本不大,但预注册设计和两千多次评估的总量补上了一部分分量,而且这是模拟阅片情境,不等于真实临床。结果:拿到推理过程的医生,诊断准确率比无辅助组高12.2个百分点,也显著高于只拿结论的组(+7.2)和拿鉴别列表的组(+9.7)。作者给出的机制是:解释让医生有能力**识别并纠正AI的错误**。反过来,只给一个黑箱结论,医生没有核对的抓手,更容易照单全收——论文里管这叫"自动化偏倚";给推理过程,人才真正站在把关位上。
## "第二双眼睛"的幻觉
还有一层更深的隐患,来自十月挂出的一篇立场论文。医院引入诊断AI时,常见的说法是"多一双眼睛,只会更安全"。这篇论文指出这个直觉有个前提:**第二个判断者只有以不同的方式犯错,才能减少错误**。人和模型的出错机制确实不同(人是疲劳、认知偏倚;模型是统计与生成缺陷),所以互补是"可能的"——但不是"保证的",而且这种独立性很脆弱:当医生开始事事顺从AI,或者AI顺着医生的意思走,两者的错误就会悄悄合流,第二双眼睛退化成第一双眼睛的回声。
作者的建议因此很具体:每家医院部署前,应该用**本院的病例**审计"AI的错和自家医生的错是否重叠",并且长期治理维持这种不重叠;评价一个临床AI,不能只看准确率,还要看**它的失败方式和我们医生的失败方式是否不同**。这不是纸面担忧:论文引用的估计是,诊断错误每年让大约79.5万美国人永久残疾或死亡。
## 我的判断:诊断AI的评估该换考纲了
把这五份材料放在一起,我的收获是四条。
第一,AI诊断的短板已经从"知识"移到了"过程"。笔试分数衡量的是医学知识与综合推理——这两样模型已经很强;而真实诊断的大头是假设驱动的问诊,这恰是今天的模型最弱的环节。只看笔试分数做的采购、宣传和产品定位,都在系统性地高估。
第二,评估该换考纲:把诊断拆成信息获取、检查开单、证据综合三段分别报告。三个新基准都不再把"过程"当黑箱:ClinVerse直接按三段打分,Hx2Dx和DiagTrace各自把过程拆成了可测维度;只报"最终诊断准确率"的评估,藏起了一半真相——而藏起来的那一半,恰是准确率损失的主要来源。
第三,解释不是锦上添花,而是有人为把关的前提。+12.2个百分点来自一项预注册随机实验:给推理过程,医生才能纠错;只给结论的系统,实际是在把人推向盲从。
第四,"多一双眼睛"的安全叙事需要换成"错误不重叠"的审计叙事。冗余的价值不在数量,在差异——这个逻辑对AI适用,对人类的双人复核同样适用。
最后留个问题:在AI学会问诊之前,更稳的分工是不是"人来问,AI来想"?还是说,让AI在模拟诊室里反复练问诊(ClinVerse里已有九种自我进化方法显示出增益)才是正路——如果答案是后者,谁来给这个练习期把关?
来源:
- Hx2Dx: From Anamnesis to Diagnosis(arXiv, 2026): https://arxiv.org/abs/2611.14122