每次看到"某模型登顶榜单"的新闻,我们都在默认一个前提:榜单是可信的。这个前提最近一个月被连撬了几块砖。对普通人来说这不是学术圈的内务——你用的产品选了哪个模型、医院和银行采购时信了哪份跑分、政策辩论引用了哪个数字,底下垫着的都是评测。如果分数本身分不清"真强"和"见过考题",所有这些决定都站在松动的地基上。
## 分数从来不是模型一个人的分数
今年8月挂上arXiv、11月初更新的一项分类研究,把问题挑明到了认识论层面:一个基准分数,其实是**模型、评测框架、引出预算(允许模型尝试几次)、抽样人群、污染状态**五个因素的联合属性。而榜单的语法只印得下两栏——模型和分数。于是能力和泄漏变成了"观察等价":从分数上,你无法区分一个真会做题的模型,和一个在训练数据里见过这套题的模型。
这项研究把污染按"每一种能击穿哪种防御"分成五类:直接抄题、衍生改写、时间泄漏、分布泄漏,以及第五类——**在评测过程中现场获得的泄漏**。关键的推论是:私有测试集只能挡住第一类;而第五类是"单次考试"的属性,必须跟着每一次报分一起记录,光在基准发布时声明干净没有用。
研究者还设计了一份四字段披露协议,允许报告者诚实地填"不知道",并做了预注册的可靠性测试:请两位设计团队之外的编码者用同一套工具评41份文档。结果他们自己先把坏消息登了出来——在其中29份主通道文档上,编码者之间的一致性中位数只有0.21(单人重测自己的上限是0.84),引出预算只有13%的文档报了,**没有一份文档覆盖全部五类污染**。换句话说,指望行业自觉披露来重建信任,这条路连它自己的可靠性测试都没通过。
## 侦探也不可靠
那能不能事后侦破?即不靠厂商坦白,靠统计方法检测模型是不是"背过题"?一篇被ECML PKDD 2026接收的研究给了冷水:他们系统测试了三大类主流污染检测方法,横跨25个模型并延伸到前沿工业模型,335次审计**只有201次给出了正确结论**。失效模式很具体:检测用的参照数据和怀疑对象分布不一致时,方法会报假阳性;而基准比预训练语料小几个数量级,另一类方法在这个规模下统计检力不足。作者的结论一句话:统计检测还不能替代透明的数据溯源。
侦探不可靠,披露填不齐,高分又和泄漏长得一样——评测的信任危机,到2026年秋天,三条旧路眼看都难走。
## 考试现场翻答案
然后还有更釜底抽薪的发现:污染根本不需要发生在训练时。
一篇发表在EMNLP 2026 Findings的论文(阿里巴巴通义实验室与南洋理工大学等合作)测试了"深度研究智能体"——那些会自己上网检索资料的AI——在七个公开基准上的表现。它们考试时就在联网搜答案。研究把这种"检索时污染"分了三档:搜到基准的元数据、搜到题干的上下文、直接搜到原题加标准答案。
实测结果:Gemini Deep Research在医学问答基准MedQA的100题采样里,**60%的题目,它访问过的网页上同时写着原题和答案**;另一款中国背景的Step Deep Research是9%(作者推测,因为其检索基建偏中文,较难搜到英文基准的衍生物);Valyu是0%。这种现场翻答案能把测得的成绩虚增至多4%,甚至改变模型之间的排名。
这正好是前面分类研究里"第五类"的实证:泄漏不在训练数据里,在考场里。评测对象其实早就不是"模型知道什么",而是"模型加上一整套检索系统,在开放环境里能拿到什么"。
## 于是大家开始"互相藏牌"
三条旧路都堵了,11月出现的新动作指向同一个方向:不再指望检测和坦白,直接改造"谁能看见什么"。
11月9日,来自OpenMined、MLCommons、谷歌、新加坡AI安全研究所和AVERI的研究者挂出论文,报告了他们所称的世界首次"双盲评测"试点:让谷歌DeepMind的专有模型Gemini 2.5 Flash Lite,接受MLCommons私有安全基准AILuminate选段的测试——**模型权重对"考官方"隐形,考题对"考生方"隐形**,两者只在云上机密计算环境里的一块NVIDIA H100硬件飞地(enclave,芯片级的加密执行区)中会合。开考前,双方各自验证一份由CPU厂商硬件根密钥签名的远程证明,确认环境没被动过手脚;考完后,原始答卷留在飞地里,评测方只拿走汇总指标——像论文匿名评审,但由硅片而不是人来执行保密。
差不多同一时间,AACL 2026收录了另一条路线:干脆让模型永远接触不到私有测试集。做法是只公开基准的一小片"公开切片",第三方用模型在这一片上的回答训练一个代理模型,再用代理推测它在私有部分的表现,公开多少由一个可调的"泄露预算"控制。在六个基准上,这套方法对模板化任务能到0.85-0.90的判断一致率,但对推理型任务掉到0.73以下,整体估计误差平均5.88个百分点——结构化考试能替考,推理考试替不了。
再往前,还有五月就有团队主张的第三条路:让基准数据集在设计上就抗污染——因为传统的去重清洗对改写、翻译过的题目基本失效。
## 我的判断:评测正在从统计问题变成访问控制问题
把这一串事实排在一起,能看到一个清晰的转向。开放科学的老逻辑是"一切公开、人人可复算";而这半年攒起来的证据链是:复算的侦探手段不可靠(335次审计只对201次),公开的披露协议填不一致(一致性0.21),剩下能用的,是把保密本身做成协议——硬件飞地、远程证明、代理模型、检索沙箱。评测的价值,开始依赖于**一部分内容不公开**。
这是十足的悖论,但悖论里有三个推论值得记住。
第一,信任没有消失,是换了形态:从"任何人可以重算你的分数"变成"密码学证明+硬件签名+机构流程担保你的分数"。而新形态有门槛——跑一次双盲评测,需要H100、云上的机密计算环境、专用编排软件和多家机构的协作。可信评测正在基础设施化,而基础设施意味着:发"可信成绩单"的资格,会向大机构和非营利联盟集中,普通研究者和小机构只能当观众。
第二,报分的语法必须升级。既然"现场翻答案"型污染是单次考试的属性,那么不带考试条件(能不能联网、沙箱还是开放检索、尝试几次)的分数,就像不带单位的速度——数字还在,信息已经死了。榜单只印"模型+分数"两栏的时代,应该结束了。
第三,对每个看榜单的人,从此有三个具体问题可以问:测试集私有不公开吗?考试时模型能自由联网吗?分数旁边有没有污染状态的披露?三问都没有答案的高分,就只是一个数字。
最后留一个值得争论的问题:如果可信评测的代价是藏起考题、锁进飞地、把验证委托给芯片厂商的签名密钥和少数几家机构——AI这个自称最开放的领域,它的"可信成绩单"最后由谁来发?非营利联盟、大厂俱乐部,还是硬件供应商?当保密成为信任的前提,"开放科学"这四个字,算是死了,还是换了一种活法?
来源:Angulo, Yeste & Espinos-Morato, Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation(arXiv,2026年8月29日,11月6日修订)
https://arxiv.org/abs/2608.29463