2026 年 11 月 16 日,Langenbecks Archives of Surgery 刊登了一项德国三级转诊中心的研究:研究者把 30 个术后胃肠肿瘤病例(胰腺、胃、结直肠各 10 例)整理成结构化剧本,让 ChatGPT 在受控指南环境中每例独立跑三遍、多数投票产生治疗建议,再与德国指南和真实的多学科肿瘤委员会推荐对比——指南一致率 70%,肿瘤板一致率也是 70%,两次都一致的只有 56.7%。更扎眼的数字藏在重复性里:90 次运行输出中 25.6% 与指南推荐不一致(其中重大偏离占 15.6%),三遍运行完全一致的病例-指南组合只有 67.8%。
这是"LLM 时代的肿瘤决策支持"最新的一个数据点。而在它之前,这条赛道上躺着一具著名的尸体:IBM Watson for Oncology。把两代证据放在一起看,才能读出这个领域十年里真正学到的东西。
## Watson 的故事,现在可以完整讲了
Watson 由纪念斯隆-凯特琳癌症中心(MSKCC)参与训练,一度在 14 个国家落地;IBM 在 2018 年对媒体的声明中称,它已覆盖 13 种癌症、服务 230 家医院的超过 84,000 名患者。转折点同样是 2018 年:7 月 25 日,STAT News 依据一批内部演示幻灯片报道——公司内部的医学专家和客户已经记录了"多起不安全和不正确的治疗建议"。这批幻灯片出自 IBM Watson Health 时任副首席健康官 Andrew Norden 在 2017 年夏天的内部演示。而更根本的问题出在训练方式上:Watson 是用少量"合成的"(虚构的)癌症病例训练的,而不是真实患者数据;每种癌症的推荐基于少数几位专家的意见,而不是"指南或证据"。一位佛罗里达 Jupiter 医院的医生对 IBM 高管说得更直接(英文原话,这是译文):这个产品是垃圾,"我们买它只是为了宣传,大多数病例根本没法用"。报道同时确认:没有患者因这些错误建议死亡。
2022 年 1 月 21 日,IBM 宣布把 Watson Health 的医疗数据与分析资产出售给 Francisco Partners(据 Bloomberg 报道价格超过 10 亿美元,交易双方未披露金额);行业分析师在 Healthcare IT News 上评论:这笔出售"基本意味着 Watson Health 实验的终结"。
## 一致率不是金标准:四国数据里的两个稳定模式
把 Watson 的失败简单归因于"技术不行"是误读——各国的一致率研究呈现的是一个更复杂的模式。韩国釜山一家大学医院对 183 名乳腺癌患者(2016–2017 年)的回顾:Watson 与临床医生推荐的一致率只有 40.4%,作者把主因归到韩美医疗保险制度与医疗环境的差异。中国西北地区(宁夏/青海)463 名乳腺癌患者的研究:术后辅助治疗一致率 80.2%,晚期一线治疗骤降到 50.5%。韩国大邱 322 名胃癌患者(2015–2018 年):与肿瘤板的总一致率 86.96%,分期拆开看——I 期 96.9%、II 期 88.9%、III 期 90.9%、IV 期只有 45.8%;多因素分析里年龄、体力状况与 IV 期显著影响一致性。韩国仁川 55 名连续泌尿系肿瘤病例(2017–2020 年)的回顾分析:总一致率高达 92.7%,但有三例 Watson 根本给不出合适的选项,且部分推荐在韩国医保审查体系下不可执行——研究者同时观察到,接入 Watson 反而促进了多学科协作本身。
2026 年 7 月 Frontiers in Artificial Intelligence 的系统综述把这些碎片拼成全景:59 项研究、23,158 名患者,AI 决策支持与多学科团队或指南推荐的一致率从 23.2% 到 99%——跨度大到说明"一致率"本身几乎不携带信息,真正决定表现的是地区、治疗可及性与病例复杂度。综述归纳的三大实施障碍——技术局限、社会经济与医疗体系约束、患者与肿瘤特异因素——几乎逐条对应 Watson 当年的死因。
从这四国数据能提炼出两个稳定的模式。第一,简单病例高一致、复杂病例崩塌:早期、标准路径的病例里 AI 与人类专家高度重合,而 IV 期、晚期、多合并症的病例——恰恰是最需要决策支持的场景——一致率腰斩。第二,肿瘤板自身也不是金标准:它的推荐本来就有地区与机构差异,用本地肿瘤板当参照测出来的"不一致",未必是 AI 错了。Watson 时代没有解决这两个问题,只是把它们暴露了出来。
## LLM 时代:这本反面教材有人读了
LLM 时代的新证据显示,行业至少学到了教训的一部分。对比德国那项 ChatGPT 研究与 Watson 当年的研究,有四点不同值得注意。其一,定位变了:作者的结论是 LLM 可用于"指南筛查与肿瘤板会前准备",且必须有专家医师监督——没有人再宣称替代肿瘤板。其二,失败模式透明了:Watson 是黑箱,错误只能靠事后一致率研究倒推;ChatGPT 研究直接量化了输出不稳定性(25.6% 的运行级不一致、15.6% 重大偏离),并且用"每例跑三遍+多数投票"来对付它——不稳定性从隐患变成了被测量、被工程化处理的对象。其三,评估设计更规范:预先注册、区分重大与轻微偏离、报告复现性。其四,收益点更务实:系统综述确认的是提高多学科团队决策的指南依从性、帮助识别可入组临床试验的患者、支持低年资医生、常规病例的分诊——没有一项是"替代医生"。
## 最终考题:两代人都还没交卷
没学到的部分同样清楚。第一,仍然没有任何以患者结局为终点的证据——系统综述作者明确呼吁"更大的前瞻性研究评估真实世界整合、临床影响与患者结局";一致率研究再精细,测的仍是"AI 像不像专家",不是"患者有没有获益"。第二,地区化问题原封不动:Watson 在韩国栽在医保目录,在釜山栽在 40.4%;今天的 LLM 研究依然全部来自单一国家、单一中心,德国研究的 30 个病例比 Watson 时代任何一项都小。第三,多数投票能压住一部分不稳定性,但 67.8% 的三遍全对率意味着:同一个病人、同一个提示词,问三遍有大约三分之一的概率得到不完全相同的答案——在需要签字负责的治疗决策里,这是尚未解决的工程问题。
## 教训怎么落地:三类读者,三个动作
对医院与肿瘤科:LLM 进入肿瘤委员会的正确姿势是从低风险环节开始——会前文献与指南核对、临床试验筛查、常规病例分诊;上线前做本地指南与本地医保目录的适配验证;把一致率当参考指标而不是验收标准。对肿瘤医生:你的肿瘤板不是金标准,AI 的一致率数字要按分期与复杂度拆开读;使用 LLM 时要求多次运行与来源核查,重大偏离(德国研究里 15.6% 的运行级重大不一致)必须人工裁决。对 AI 医疗行业:Watson 的完整故事——合成病例训练、专家意见冒充证据、营销跑在验证前面、内部发现问题继续推广——是这个行业最好的一本反面教材;十年后回归的 ChatGPT 研究们把"专家监督""预注册""失败模式量化"写进设计,说明教材有人读了。但患者结局这道最终考题,到今天仍然空着。
不确定性照例列出:Watson 一致率研究均为回顾性小样本(183、463、322、55 例),且"一致率"的参照标准本身有变异;STAT 报道基于内部幻灯片,IBM 与 MSKCC 当时均有回应辩驳,本文按报道原文表述并作出标注;德国 ChatGPT 研究为单中心探索性横断设计(30 例),作者自限"支持指南筛查与会前准备的可能角色";LLM 证据基于 GPT-4 一代模型,有保质期;全程没有患者结局数据。
来源:Krollmann N, et al. ChatGPT concordance with guidelines and tumour board treatment recommendations in gastrointestinal cancer. Langenbecks Archives of Surgery, 2026. https://doi.org/10.1007/s00423-026-04351-5