每个大模型在训练开始之前,都先有一份"读了什么"的清单。能力边界、知识偏向、乃至价值倾向,都在这份清单上先打了草稿。可如今,最强开放模型的清单已经不公开了。语料(corpus)看起来是个原料问题,实际上是个设计问题:过滤什么、去掉什么、按什么比例混合,每一条规则都在训练开始前,就把一部分答案写进了模型。
这篇把八份一手论文并排读一遍,沿一条线索走完语料工程的头几年:清洗规则曾被当作论文贡献公开发表,去重被发现能直接改变模型行为,接着数据成了实验里唯一的对照变量,最后,配方变成了商业机密。
## 过滤是第一次价值判断
2019 年,提出 T5 的团队做了一件当时并不引人注目的事:把"语料"当成论文贡献来写。他们的起点是 Common Crawl 项目:每月产出约 20TB 从网页提取的文本。原矿不能直接用,他们写下了一整套清洗规则,并且把规则全文公开:
- 只保留以终止标点(句号、感叹号、问号或收尾引号)结尾的行;
- 丢弃不足 3 个句子的页面;只保留至少含 5 个词的行;
- 凡出现"下流、下作、淫秽及其他坏词清单"里任何一个词的页面,整页删除;
- 删除一切含"Javascript"字样的行,因为大量页面带着"请启用 Javascript"的提示语;
- 删除含"lorem ipsum"占位文本的页面;删除含花括号的页面,因为自然文本里少有花括号,出现了多半是混进了代码;
- 同样的三句片段在整个语料里出现多次时,只保留一份;
- 最后用语言识别工具过滤,只留下被以至少 0.99 的概率判定为英语的页面。
产物取名 C4,全称 Colossal Clean Crawled Corpus,几百 GB 的干净英文文本。
今天回看这份规则清单,值得注意的不是工程,而是每条规则的性质:它们全是价值判断。脏词清单决定了什么内容算"脏";标点和行长规则决定了什么写法算"正常";语言过滤决定了哪种语言有资格留下。互联网上大量的随意写作(短句、口语、对话、多语混杂)就这样被系统性地丢掉了。C4 的"干净",是某一个特定立场的干净。
2020 年底发布的 The Pile 走了反方向:不押注一套清洗规则,而是把 22 个来源各异、多数出自学术或专业场景的子集(论文、书籍、代码、法律文书、论坛)拼成 825 GiB 英文文本。对照数字很说明问题:同期未经清洗的 Common Crawl 约有 45,927 GiB。语料的瓶颈从来不是"不够多",而是"选什么"。对数据中令人担忧的部分,Pile 团队的立场是"记录,而不是删除",并把构造代码全部公开,让下游使用者自己知情决定。按论文口径,用 Pile 训练的模型在全部组件上都显著优于用原始 Common Crawl 和 CC-100(约 300 GiB 英文)训练的模型。
## 重复会长进模型的嘴里
2021 年,一项后来被 ACL 2022 接收的研究把"语料瑕疵"直接连到了"模型行为"上。研究者发现,现有语料里充斥着近重复样本和长重复子串,后果有三个:
- 不给任何提示时,语言模型超过 1% 的输出是从训练数据里逐字复制来的;
- C4 里有一个 61 个词的英文句子,重复了超过 60,000 次;
- 训练集与测试集的重叠,波及标准基准超过 4% 的验证集样本。
去重之后,三个数字都改善了:模型吐出记忆化文本的频率降到原来的十分之一,达到相同或更好精度所需的训练步数更少,评测也更准确。工具被开源,任何团队都能用同样的方法清理自己的语料。
从这里起,语料工程被证明直通产品行为:数据里的重复,会变成模型嘴里的逐字复读;训练与测试的重叠,会变成虚高的分数。评测那边还有个镜像问题(测试题自己也会被互联网"收编"进训练数据),已有专篇讨论,这里只划一条界:语料的边界,实际上就是模型性格与诚实度的边界。
## 数据成为唯一的对照变量
2023 年,两项工作先后把"越多越好"的前提拆掉了。
一项是 Textbooks Are All You Need:一个只有 13 亿参数的代码模型,用 8 块 A100 训练 4 天,材料是 60 亿 token 的"教科书质量"网络筛选文本,加上 10 亿 token 由 GPT-3.5 生成的合成教科书与习题,在 HumanEval 上拿到 50.6% 的 pass@1、MBPP 上 55.5%;同管线缩到 3.5 亿参数的小模型仍有 45%。数据质量买回了参数规模。
另一项是 RefinedWeb,为 Falcon 系列模型准备语料。它的管线(MacroData Refinement)叠加了文本抽取、文档级与行级规则、不良网站 URL 黑名单,以及精确子串加 MinHash 模糊两套去重;约 90% 的 CommonCrawl 原始文档被过滤掉,过滤与去重各自大约削掉一半。产物共 5 万亿 token(约 100 亿篇文档),其中 6000 亿公开放出。论文还提出一个强主张(发布方自测口径):只用这份网络数据训练的模型,能比肩甚至显著超越用精选语料 The Pile 训练的最先进模型——"精选数据优于网络数据"的隐含前提被正面挑战。
2024 年,DataComp-LM(DCLM)把这件事变成了严格的对照实验:固定模型架构与训练代码,只比数据。测试床包含 240T token 的标准化 Common Crawl 语料、53 项下游评测、412M 到 7B 的模型规模带。结论:基于模型的过滤是组装高质量训练集的关键。DCLM-Baseline(用筛选出的 2.6T token 从头训练的 7B 模型)在 MMLU 五样本口径下拿到 64%,比此前最好的开放数据集 MAP-Neo 高 6.6 个百分点,还少用 40% 算力;成绩与 Mistral-7B-v0.3(63%)和 Llama 3 8B(66%)相当,而算力只有后者的不到六分之一。
同月发布的 FineWeb 把透明度做到了另一个极端:15T token,取自 96 个 Common Crawl 快照,全部设计选择文档化并逐项消融,数据策划代码与消融模型全部公开;其教育子集 FineWeb-Edu(1.3T token)在 MMLU、ARC 这类知识与推理密集的基准上明显更好(作者口径)。清洗管线在这里成了一个公开的、可复算的科学对象。
## 配方变成了机密
但公开只是故事的一半。FineWeb 论文摘要的第一句话就点破(作者陈述口径):最强开放模型(Llama 3、Mixtral)的预训练集并不公开,其构造方式知之甚少。
Llama 3 的官方论文恰好是公开文献里少有的现代配方描述:约 15T 多语言 token(Llama 2 是 1.8T);URL 层面只保留最新版本;文档级全局 MinHash 去重,加上激进的行级去重:每 3000 万文档一个桶,桶内出现超过 6 次的行直接删除;自制 HTML 解析器去除页面样板;质量过滤用了一个训练来识别"可能被维基百科引用的文本"的快分类器,另一路用自家大模型给网页打质量标注,再用这些标注训练小分类器给全库打分;最终混合比例约为 50% 通用知识、25% 数学与推理、17% 代码、8% 多语言;训练收尾阶段,上采样高质量代码与数学数据做"退火",论文报告这能带来可测量的基准提升,并声明常规退火数据里不放常用基准的训练集。
这份配方写得越细,越反衬出这样的细节有多稀有。把两条时间线并排放:开放一侧,从 2020 年 The Pile 公开构造代码,到 2024 年 FineWeb 公开全部消融,透明度一路走高;前沿一侧,语料清单却从"大致可考"变成了"不公开且知之甚少"。"模型是从什么里学出来的"这个问题,信息不对称在扩大。
## 三个判断,和几个没想清楚的问题
先交代还没想清楚的。其一,合成数据:phi-1 的 10 亿 token 合成教科书由 GPT-3.5 生成。当生成的数据开始喂下一代模型,这是突破网络数据上限的出路,还是模型开始吃自己的开端(这个退化风险另有专篇讨论)?现有证据不足以下结论。其二,迁移性:DCLM 让"数据选择"变得可比,但它的结论是在固定模型、固定评测带里得出的;筛选方法能否跨模型规模、跨任务迁移,证据还薄。其三,来源与同意:语料从哪里来、创作者是否同意,已经是绕不开的产业问题,法律层面本篇不展开。
以下是我的三个判断,与上文的来源口径分开:
判断一:清洗管线是模型的第一部宪法。过滤、去重、配比这些规则,在训练开始前就编码了价值取向与能力边界:C4 的脏词表、Pile 的"记录而不删除"、Llama 3 的混合比例,性质上都是宪制条款,区别只在公开程度。(本文综合。)
判断二:"数据当设计对象"的方法论转折已经可复现:DCLM 的对照实验与不到六分之一的算力效率是硬证据;但筛选方法的跨模型、跨任务可迁移性,目前按待检验的猜想处理。(本文判断。)
判断三:语料透明度不升反降。开放谱系内部的透明度在涨,前沿谱系的语料清单在消失。外界对"模型从什么里学出来"的知情权,正在变成一种稀缺品。(本文判断。)
## 你能带走什么
如果你在选模型:别只看参数量和分数。语料单若公开,先看配比:代码、数学、多语言各占多少,往往比模型卡片上的形容词更能预告它的强项;语料单不公开,就把"无从核对"本身记为一条风险信息。
如果你在做模型:把清洗管线当一等公民来管理:每条过滤规则、每个去重阈值都留档。它们不是工程杂务的记录,而是将来出问题时的审计材料,也是你产品的真实说明书。
如果你在创作内容:你的文字可能已经进了若干语料,被规则过滤过、被去重过、被配比过。"来源与同意"不是口号,是正在成形的产业问题。
如果你只是看热闹:下次看到模型发布,先问四个问题:语料单在哪里?过滤规则谁定的?配比公开吗?规则能复算吗?
你知道哪个模型的语料单是完全公开的?欢迎在评论区点名。
口径与边界:本文数字均转写自各论文摘要或全文;FineWeb、DCLM、RefinedWeb 的作者同时是对应数据集的发布方,相关性能主张已按"发布方自测"口径标注;"最强开放模型语料不公开"系 FineWeb 作者摘要陈述,非本文独立核实;八份来源的 arXiv 摘要页均无利益冲突披露栏,本文对此不作断言。
来源:
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5/C4),arXiv:1910.10683,2019-10
- The Pile: An 800GB Dataset of Diverse Text for Language Modeling,arXiv:2101.00027,2020-12
- Deduplicating Training Data Makes Language Models Better,arXiv:2107.06499,2021-07,comment 栏:Accepted to ACL 2022
- Textbooks Are All You Need(phi-1),arXiv:2306.11644,2023-06
- The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only,arXiv:2306.01116,2023-06
- DataComp-LM: In search of the next generation of training sets for language models,arXiv:2406.11794,2024-06
- The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale,arXiv:2406.17557,2024-06,https://arxiv.org/abs/2406.17557
- The Llama 3 Herd of Models,arXiv:2407.21783,2024-07