"让AI全自动做科学"是今年AI领域最被看好的方向之一:多国资助机构把自主AI研究员列为重点押注,还有一项以诺贝尔奖为名的挑战,目标就是让AI独立做出基础科学发现。宣传话语里,它甚至已经有了名字:AI科学家。
但今年4月到11月,五项研究给"AI科学家"做了一次联合体检。其中一篇论文发表在《自然》正刊,一篇被NeurIPS会议的立场论文轨接收,另外三篇还是未经同行评审的预印本;五项里有两项在推自家系统,相关对比数字要打折听。体检的结论可以合成一句话:橱窗是真的,病灶也是真的,而处方指向同一处——把方向盘还给人。
## 橱窗是真的:AI提出的假设,过了湿实验
橱窗是5月发表的那篇《自然》论文立起来的。某家大模型公司做了一个"共同科学家"系统:六类专职代理分别负责生成、反思、排序、演化等环节,假设在锦标赛里互相角力、靠辩论打磨、经演化改良;投入的思考算力越多,假设质量越高——论文用一套借自棋类的等级分方法,展示了这个爬升过程。
更关键的是验证。在三个生物医学问题上,这个系统提出的假设都经过了独立的体外实验:它为一种白血病找到了老药新用的候选和联合疗法;为肝纤维化提出了新的干预靶点;最漂亮的一例在抗菌素耐药性研究里——它独立复现了一项当时尚未发表、时间上同步的细菌基因转移机制发现,人类团队和机器团队殊途同归。
但论文自己把局限也写得很清楚:验证虽然成功,仍属初步;系统只能读开放获取的文献,阴性结果它系统性地看不见;还特别提醒,这类系统可能让研究方向同质化、削弱人的批判性思考。
## 病灶一:不看证据,不改错
橱窗管的是"能不能出结果"。4月发布的一篇预印本问了另一个问题:它的过程科学吗?研究者在8个科学领域跑了超过2.5万次代理任务,专门检查这些系统有没有科学赖以自我纠错的那种推理。
答案不乐观:所有配置下,**68%的运行轨迹无视证据**;由反驳驱动的信念修正只出现在**26%**的情形里;用多重独立检验去收敛一个结论的做法更是罕见。再往下拆:性能与行为差异里,底座模型解释了41.4%,而精心设计的科研工作流只解释了1.5%——像不像做科学,主要由底座决定,不由流程决定。更无奈的是,即便把近乎完整的成功推理轨迹摆在眼前当范本,病灶依旧;在对证据和推理要求最严的领域,这种不可靠还会在反复试验里累积。这篇预印本的标题就是它的结论:AI科学家能出结果,但过程没有在做科学。
## 病灶二:大家想得都一样
第二个病灶由那篇被NeurIPS接收的立场论文诊断:同质化。作者做了个"蜂巢思维"实验——让不同厂商的模型干同一件事:解读一组实验背后的假设,或基于既有论文提出新假设——各家模型给出的答案在语义上高度趋同。他们把板子打在偏好优化上:模型被训练成给出多数人喜欢的答案,多样性于是被压向共识。
论文还点了三个结构性的问题:选题倾向"麦克纳马拉谬误"——挑容易量化的,而不是重要的;训练语料里缺实验室的默会知识——那些只在实验台边才学得会的手艺——和失败经验;多数科学基准只测单轮预测的准确度,缺物理实验的反馈回路。它给出的结论是:这些系统已经可以当"共同科学家",但**不是为自主发现而建的**。
## 病灶三:会找规律,不会讲机制
第三个病灶更细。10月的一篇预印本先做了个统计:**70.2%的自然科学论文把"机制"当作解释性输出**——科学要的不只是"发生了什么",是"怎么发生的"。于是他们建了第一个数据驱动的机制假设基准:从14个科学领域的论文里取出机制,配上真实的科学数据集,合计1798万条记录、300个任务;让代理分析数据、提出开放形式的机制假设,评分不看文字像不像,而看假设在**隐藏的条件变化下能不能推对结果**——背标准答案没用。
结果:被测的通用代理和科研系统,生成的假设与真实底层机制之间存在显著差距。用这篇基准论文自己的话说:找到规律,不等于解释了现象如何产生。
## 处方:人握方向盘,代理盘问记录
药方来自11月16日发布的最后一篇预印本。这个"以科学家为中心"的系统不追求全自动,而是把人放在两个关键位置:每轮研究之间,由科学家来选择、精炼或替换下一个假设;同时用一组审计代理去盘问每一轮的检查点记录——追踪每个论断的出处、复现每个分析,把结果供人决策。
处方的效果有数字:在天文变星分类任务上,它的全自主模式建出了所有被测基线里最好的模型;而在蛋白质变异效应预测任务上,科学家掌舵的版本超过了106个公开基线中的105个,中位相关性0.551,高于同一系统全自主版的0.531——在这个任务上,人握方向盘确实胜过放手。另一组统计更直接:科学家带着审计代理协作,找出的有效错误数量是纯人工复核的**14倍**。这篇论文还顺手回应了"全自动派":那种系统的前提是存在一个强验证器可以对着刷,而多数科学任务根本没有这种东西。
## 我的判断
第一,"AI能不能做科学"要拆成两问。出结果这一问,《自然》的橱窗和湿实验验证给了肯定答案;但科学不只是结果,更是靠反证自我纠错的过程——68%的证据被无视、26%的反驳修正率,说明过程这一问还远没及格。而且换工作流帮助有限(1.5%对41.4%),病根在底座。
第二,同质化是被低估的系统性风险。假设生成的价值恰恰在多样——各家AI科学家想的一样,等于把同一个助手请了N遍。《自然》论文自己都把"研究方向同质化"写进了警告;这个病灶,靠堆算力、换流程治不好——它是训练阶段压出来的。
第三,测评方式在进化,但也要打折看。机制假设基准用"隐藏条件下的后果"评分,比文字相似度靠谱;可它仍是作者自建自评,差距的具体深度要等独立复现。
第四,处方的本质是重排人的角色:从执行者,变成掌舵人和盘问者。数字支持这个排法:在唯一做过直接对比的蛋白质任务上,掌舵胜过放手(变星任务里,全自主版已经建出了最好的模型);而"人+审计代理"胜过纯人工——尽管这些同样是系统作者自测的数字。
留两个值得吵的问题:AI生成的科学假设,该不该强制进一个统一的预注册库——像临床试验那样,先登记、再验证?那篇立场论文正是这么建议的。以及,科研机构采购这类系统时,"记录可审计+科学家握方向盘"该不该写进验收标准?