2023 年 11 月,加州大学伯克利分校的一组研究者做了一个实验:把小学数学应用题基准 GSM8k 的测试题逐道改写——换换词序、替换同义词,语义不变——再拿这些改写题微调一个 130 亿参数的开源模型。它原本在 GSM8k 上只能得 28.7 分,微调之后,不给任何示例直接考原卷,得了 95.3 分,按论文摘要的说法,"与 GPT-4 相当"。
更要命的是后半句:这种"背题"用行业标准的去污染检查根本查不出来。主流做法是 n-gram 字符串匹配——训练数据里若出现与测试题连续重合的片段就删掉。改写过的题目把重合片段打散了,检查一路绿灯。
这就是基准污染最尴尬的地方:我们有一套越来越贵的考试体系,却没有一套同样可靠的查作弊体系。
## 污染有多普遍:连 GPT-4 都自曝了
大模型的训练数据是整个互联网,而基准测试题恰恰是互联网上流传最广的文本之一——代码仓库、论坛、博客里到处都是。题目进入训练语料,很多时候不是有人故意泄题,而是数据回收机制的自然结果。
OpenAI 在 GPT-4 技术报告里自己做过核查:代码基准 HumanEval 约 25% 的题在训练数据里出现过,阅读理解基准 DROP 约 21%,连最流行的综合知识基准 MMLU 也有约 0.6%。他们还发现综合基准 BIG-bench 的一部分内容意外混进了训练集,干脆把它整个从报告成绩里剔除。
这份自查也给出了另一面:把污染题剔掉重算,GPT-4 在 HumanEval 上的得分从 67.0 降到 65.58,相对退化约 2%。OpenAI 的结论是,污染对其总体成绩"不构成实质干扰"。这个结论有理由怀疑其边界——核查方法和阈值都是自家定的,第三方无法复核训练数据——但它至少提醒我们,"高分全是背出来的"同样是过头话。
污染真正的代价在别处。Sainz 等人在 2023 年 EMNLP 的立场论文里说得很直白:被污染的模型会高估自己,这影响排名;更严重的是科学研究——研究者若用被污染的模型检验假设,错误的结论会被发表,正确的结论反而被抛弃。同一团队还演示过,ChatGPT 能直接"接写"出 CoNLL2003 等基准测试集里的行——题目早就在模型肚子里了。
## 查作弊为什么这么难
2024 年 ICLR 上,斯坦福团队给出了迄今最严格的检测方案:不看训练数据、不看模型权重,只用输出概率做统计检验。原理很巧——一套测试题的排列顺序本是任意的,没背过题的模型对任何顺序都应一视同仁;背过的模型会觉得"原始顺序"明显更顺。检验的假阳性率可控,灵敏到能查 14 亿参数的模型、只有一千道题的小测试集。
但他们拿这套方法审计四个公开模型、八个主流基准,结论却是:几乎没有发现普遍的逐字污染。
好消息也是坏消息:逐字污染查得到,恰恰说明最危险的污染不是逐字的。伯克利那篇论文里,改写、翻译、换数字都能把题目"洗白"——把 MMLU 测试题改写后拿去训练,Llama-2 13B 能考到 85.9 分,n-gram 查不出;RedPajama、StarCoder 等公开预训练集里检出了 8% 到 18% 的 HumanEval 题;甚至用 GPT-3.5/4 批量生成的"合成训练数据"里也混着基准题的影子——论文称之为无意的污染。
这场军备竞赛天生不对称:进攻方只要批量改写题目,防守方要做的却是严格的统计证明——而且证明需要模型吐出输出概率,这并非所有闭源模型都提供。
## 行业的四条对策,各有各的漏
既然查不住,那就换考卷。过去两年行业试了四条路,每条都暴露出自己的失效模式。
第一条,出平行新卷。Scale AI 团队 2024 年做了 GSM1k:1250 道人工新编的题,难度、解题步数、答案量级都对着 GSM8k 校准。结果一些模型家族在新卷上系统性掉分——预印本点名了 Phi 和 Mistral,几乎覆盖其所有尺寸——而一个模型"能生成 GSM8k 原题"的概率,与它的新旧卷分差正相关。这项研究自己也有个插曲:预印本版报告最大掉分 13%,被 NeurIPS 接收的终版改成了 8%。反污染的研究,自己的数字也要被核对。
第二条,滚动换题。LiveBench 每月更新题目,题源是新近的数学竞赛、arXiv 论文、新闻和数据集,每月平均换掉六分之一的题,约半年全卷翻新,新题还先私藏一个月才公开;评分只收有客观答案的题,全自动,不用 AI 当裁判。但它的名字起得很诚实——"Contamination-Limited",污染受限,而非污染免疫:题源本身就是公开互联网,今天的新闻明年就在训练集里。
第三条,请专家出难题。2025 年初发布的"人类最后的考试"(HLE)由来自 50 个国家、500 多家机构的近千名学科专家贡献了 2500 道题。它的动机写在摘要里:MMLU 这类流行基准已被做到 90% 以上,量不出前沿了;而 HLE 发布时,最强模型的准确率和校准都很低。独立的质量审计也跟了过来:Epoch AI 抽取 48 道题——先由模型初筛、再逐条人工确认——发现 22 道存在会实质改变成绩的缺陷,占比 46%,比如要求做"4 点离散傅里叶变换"但题目给了 8 个数、答案键的时间膨胀因子错了一个小数位(0.9963 与 0.963 之差),直接评级"Flawed"。众包专家题能快速买到新颖和难度,买不到质量控制。主办方后来又推出了动态更新的 Rolling 版,还预告了应对"模型在原版上撞上噪声天花板"的 Diamond 版——连"最后的考试"也得边考边修。
第四条,干脆不考试,让人类盲评对战——LMArena 竞技场。它天然不怕背题,却迎来了另一种作弊。2025 年 4 月 Meta 发布 Llama 4 时,送上竞技场的是一个"为对话性优化"的实验版,一度排到第二名;几天后正式公开版上榜,掉到第三十二名开外,输给了一众几个月前的旧模型。提交特调版本这件事,Meta 自己的发布材料写得明明白白。紧接着,Cohere、斯坦福、MIT 等机构的研究者分析了五个月里 280 多万场对战,指控更深的问题:Meta 发布前私下测试了 27 个变体、只公开最好的成绩;Google 和 OpenAI 各自拿到全场约两成的对战数据,而这种数据红利能让模型在竞技场同分布的测试上多涨至多 112%。竞技场方面反驳了论文的部分分析;论文也自认方法有局限——私测变体靠模型"自报家门"来识别,并非无懈可击。但方向已经清楚:人类偏好评测绕开了背题,却引入了风格过拟合、私测不对称、数据回流三类新问题。
## 我的三个判断
第一,只要考卷是公开文本,污染就不是事故,而是结构性后果。任何公开基准从发布那一刻起就有了半衰期——它迟早被互联网回收进下一代模型的训练数据。动态换题只能延长半衰期,不能归零风险。追求"永远干净的基准"是范畴错误;能追求的,是"有出处的分数"。
第二,污染分布极不均匀,危险在中间地带。前沿大模型在新卷上的泛化大体过关——GSM1k 终版的结论是,所有受测模型对确保没见过的题都表现出大体泛化;而中小模型、开源模型和第三方微调版本,恰恰是改写级污染最可能藏身、又最难被检测的地带——多数应用开发者用得起的正是这些模型。
第三,对分数的消费方式该变了。问题不再是"考了多少分",而是"这个分数是怎么来的"。三问:考卷是什么时候出的——出题晚于模型训练截止越远越干净;考卷是不是公开的——公开的就要默认它被见过;有没有新旧卷落差可查——有对照的分差才是测量,没有对照的高分只是广告。
下次再看到"某某模型横扫各大基准"的标题,不妨先过这三问。分数还会继续涨,榜单还会继续换,但"核对考卷"这个动作,短期内不会过时。
你现在还无条件相信哪个 AI 榜单?欢迎留言说说你的判断标准。
来源:Yang et al., Rethinking Benchmark and Contamination for Language Models with Rephrased Samples, https://arxiv.org/abs/2311.04850