你读到的几乎每一篇医学论文,发表前都经过同行评审——同领域的专家义务审稿,把住质量关口。这是科学自我纠错的核心机制。但10月底挂上medRxiv的一份预印本,把这个机制推到了一个尴尬的聚光灯下:在三份被人为植入了方法学错误的临床试验报告上,2008年一项经典研究里607名人类审稿人对主要错误的平均检出率只有27%;而这一次,15个大语言模型里最强的一个,检出了96%。
先别急着下结论。把这一个月的五份材料摆在一起看,故事远比"AI碾压人类"复杂——它暴露的是评审制度里三个角色各自的窘境。
## 审稿端:96%对27%,但这个比分要看清
那项研究的设计值得细说。2008年,研究者向三份随机临床试验报告里植入了14类方法学错误(9类主要、5类次要,比如有偏的随机分组),请607名审稿人来审——他们平均只找出了27%的主要错误。今年,一个研究团队让15个大模型(含4个权重公开、可在本地运行的开源模型)审同样的稿子,还嫌不够:为了防模型"背过答案"(这些手稿2004年就公开了),他们又对2026年新发表的58项随机试验植入同样的14类错误,让模型盲审。15个模型总共写了1796份审稿意见,由两个处于"盲态"的AI评审打分(不告知每份意见出自哪个模型)。
结果:按主要错误算,老稿子上模型检出53%到96%;2026年新试验上58%到99%,连开源模型也有66%到89%。最强的Claude Opus 5.5两轮分别拿到96%和99%;审一份稿子平均只花1.4到16.3分钟。审稿写得长也不等于审得好——有个模型每份意见写三千多词,检出的错误反而比一个只写八百词的少。
但有三处必须泼的冷水。第一,对照组:在**没有**植入错误的干净稿子上,模型仍会标出14%到29%的"错误类型",最常见的是"结论不被结果支持"和"没交代筛除的患者为何未入组"——它抓错很猛,对干净稿子也照样开火;不过研究自己也承认:这些标记有多少算"冤枉"、有多少其实点中了已发表试验的真实局限,无法判定。第二,卡内基梅隆大学的计算机科学家Nihar Shah对《科学》杂志指出:这个比较并不完全公平——人类审稿人没被要求找出所有错误,有些审稿人发现一个足以拒稿的致命伤,可能就停笔了,"而LLM不会停";2008年那项研究的合著者、《英国医学杂志》的高级研究员Sara Schroter也提醒:当年的人类审稿人并不熟悉后来才普及的临床试验报告规范,模型占了时代的便宜。第三,这份预印本自己还没经过同行评审,而且作者们在利益声明里写得很清楚:其中四位来自一个正在实施"AI辅助评审"的开放科学平台。
11月,另一项挂上arXiv、已被NeurIPS 2026接收的工作则提醒:AI审稿的差距主要不在"工具"而在"底模"——同一套提示词,三个前沿模型的总检出率能差约50个百分点。工具只在补模型短板时有用:一个强制检索被引论文来核对引文的系统,在天体物理论文上引文错误检出遥遥领先,可一到机器学习论文(模型本来就熟的领域),优势就消失了。这项工作的作者还特意划了边界:他们的基准只测"客观可定位的错误",不测新颖性、重要性和解释判断——"不应被解读为对评审质量的整体测量"。
## 作者端:检测AI润色,这场军备竞赛已经输了
审稿端吵翻天的同时,作者端的问题更隐蔽:多少论文已经被AI润色过?11月发表在《科研诚信与同行评审》期刊上的一项对照实验给了个清醒的答案:能测出来,但没用。
研究者拿来1501篇2021年(AI写作工具普及前)发表的牙科期刊摘要,让AI每篇重写两遍:一遍正常编辑,一遍额外要求"写得像人,别露机器腔"。结果:AI润色留下了清晰指纹——某个学术口头禅("这些发现")从28次暴增到287次;随机拿一篇AI版和一篇原文比,96%的情况下能凭用词和句式痕迹分出AI版。但关键在后半句:**要求AI"写得像人",只能抹掉10%到32%的用词差异**;而且这些痕迹只能刻画"一群文本",**不能给任何单独一篇定罪**。作者的结论干脆:与其检测,不如公开披露。
## 治理端:禁令失效之后,线画在哪里
那么期刊怎么办?现状是拧巴的:据《科学》杂志报道,许多医学期刊明令禁止审稿人使用AI;而11月发表在《生命科学联盟》上的一篇文章直言:越来越多的研究者审稿时就在用大模型,常常不披露、直接违反期刊政策——禁而不止,反而侵蚀信任。这篇文章的主张是"职业化与透明,而非禁止":审稿人用AI可以,但必须披露、只能用于质量保证类的活(文字支持、一致性检查、统计功效评估、方法学评估),每条AI意见都要亲自复核论证,并把AI的原始输出附在审稿报告后面。
医学期刊编辑们走得更系统化。一家医学期刊的主编在11月初发表的社论里,摆出了他正在推行的一套三层框架——他刚在国际医学期刊编辑委员会(ICMJE)的年会上拿这套框架向各国编辑征求过意见,讨论很激烈,却没谈出共识。框架是这样的:第一层,辅助——语法、翻译、润色,不碰判断;第二层,增强——引文核验、摘要、方法学与统计检查,辅助人的判断;第三层,替代——把科学价值的独立判断、录用修回拒稿的决定交给AI,**严格禁止**。这位主编的期刊正在自建一个封闭式AI审稿系统(稿件不出期刊、不入模型训练、用后即删),用来抓虚构参考文献——按他的说法,这类问题"比预期更常见"。
但社论最有价值的部分是坦承这条线画起来有多难:当AI开始指出"统计方法有错""结论超出了设计能支持的范围",它已经在侵入人类判断的领地——审稿人可能自以为在独立判断,却可能正沿着AI搭好的逻辑框架走。全文的锚是一句话:最重要的不是AI能做什么,而是**人类审稿人是否还保有智识上的控制**。
## 我的判断:比分会误导,责任线才是真问题
把这五份材料放在一起,我的收获是四条。
第一,96%对27%比的不是智商,是岗位说明书。人类审稿人是无偿、限时、以"能否发表"为判断目标的;AI是不倦、穷举、以"找出所有错误"为目标的。让前者去比后者的强项,就像让急诊医生和体检流水线比谁查出的指标多——真正该问的是:能不能让AI干穷举的粗活,把人类的注意力解放给判断?
第二,作者端的检测军备竞赛已经输了,而且输得有数据:一句"写得像人"就抹掉最多三成的痕迹,而痕迹本来就定不了个体的罪。出路只剩披露——这不光是诚信要求,也是唯一可执行的方案。
第三,治理端三层框架的真正价值不在能力线,在责任线:AI的输出永远是"待人类核验的对象",而不是"最终判断"。第二层和第三层的边界确实模糊,但方向清楚——谁签字,谁负责。
第四,一个自指的提醒:那份96%的预印本,自己还没过人类同行评审这一关,作者所在的开放科学平台,又恰恰正在上线"AI辅助评审"。这不是否定它的理由,但提醒我们:在评审制度自身成为研究对象的时刻,证据要照旧一条条核。
最后留两个问题:如果AI真能抓出大多数方法学错误,期刊该不该把"AI预审"设为投稿标配、并把结果公开?一个审稿人偷偷用AI写了意见、后来被发现了——这份审稿,算谁的?
来源:
- Large language models detect methodological errors that human peer review misses in clinical trials(medRxiv, 2026): https://doi.org/10.64898/2026.10.25.26366455