2019 年 9 月 17 日,ImageNet 团队发布声明:将从数据集中移除 438 个"不安全"的人物类目和 1,155 个"敏感"类目,连同关联的 600,040 张图像。一个被当作客观材料集合的东西,为什么需要"移除"?
数据集看起来像是从世界里收集来的,实际上是围绕目的做出来的。目的决定了收什么、不收什么、由谁标注、什么算错;决定做得越隐蔽,日后代价越大。ImageNet 的十年弧线把这件事展示得最完整:先有自上而下的目的,然后是多年的曝光、移除与修补。后来的文档标准、标注劳动调查与新研究方向,都在回答同一个问题:这份数据由谁定、为了什么、怎样被记录?
## 从一份词汇表开始
ImageNet 的设想写在 2009 年的一篇论文里,目的很具体:在 WordNet 词汇层级的骨架上建一座图像库,把其中 80,000 个同义词集的大部分填满,每集平均放 500 到 1000 张干净的全分辨率图像。WordNet 是普林斯顿大学 1980 年代建起的词汇分类数据库,按认知同义关系把概念嵌套组织,每个节点叫一个 synset。
也就是说,先定词汇表,再按类目找图像。论文里的每个数字都是决定的痕迹:2009 年的现状是 12 个子树、5,247 个同义词集、320 万张图像(原文口径 3.2 million)。哪些概念先有图像,由子树选择决定;每个类目收多少张,由配额决定;图像由谁找、谁标,由采集方式决定:亚马逊 Mechanical Turk 众包平台。至于用途,论文预期的是"三个简单应用":物体识别、图像分类和自动物体聚类。
## 十年后的一次曝光
后来的事远超设想。2012 年,一支用卷积神经网络的团队在 ImageNet 竞赛中轻松夺冠,那一刻被广泛视为当代 AI 的转折点。到 2017 年竞赛最后一年,限定子集上的识别准确率已从 71.8% 升到 97.3%。那个子集不含人物类目。
2019 年 9 月,一个艺术项目把人物类目单独拿了出来。开放长文《Excavating AI》的两位作者只用 ImageNet 的人物类目训练了一个分类模型(开源 Caffe 框架),做成网页:用户上传自拍,看 AI 把自己归进哪一类。返回的标签有 Kleptomaniac(偷窃狂)、Pervert(变态者)、Spinster(老处女)、Nonperson(非人)这样的类目,还有大量种族主义侮辱词和厌女词。作者们说,这些分类带着十九世纪颅相学的回声;未经同意或参与就把人分类,本身就是再现伤害;AI 对人的分类,很少对被分类的人可见。
项目上线五天后(时间关系系媒体报道口径),ImageNet 团队发布了开头那份声明。声明没有点名艺术项目,描述的是另一件事:一项 2018 年 9 月 1 日启动、由美国国家科学基金会资助的公平性研究。团队用内部标注人员把人物子树的 2,832 个同义词集逐一过了一遍,认定 438 个"不安全"(无论语境如何都具冒犯性)、1,155 个"敏感"(冒犯与否取决于语境),其余 1,239 个暂列"安全";移除这两类及关联图像共 600,040 张,安全类目留下 577,244 张,并将开放冒犯性术语的用户举报。声明里有一句话解释动机:当 AI 技术从实验室里的新奇事物走进人们的日常生活,确保 AI 系统产出恰当而公平的结果,已经成为一个重要的科学问题。艺术项目在 9 月 27 日下线,两位作者说它已"达成目的":引发一场早该发生的、关于训练数据政治的公共讨论。
## 三年三种补救
移除不是一次性动作。《Excavating AI》的脚注记录,早在 2019 年 1 月 24 日,部分冒犯性类目已被整体删除。同年 12 月,团队删除了人类标注者带进来的偏见性和侮辱性词条。2020 年 7 月,两位研究者证明可以从数据集里识别出具体个人(包括计算机科学领域的研究者本人),并找到了混入的色情图像。2021 年 3 月,数据集中的人脸被全部模糊,波及 243,198 张图像。管理者的解释是隐私顾虑:人只是数据的附带物,出现在描绘各种物体的网络照片里。那两位研究者说模糊是好事,但团队没提及他们的研究让人失望;团队回应会在论文更新版中补上引用。模糊也有隐忧:算法可能反过来学会寻找被模糊的人脸。
删类目、删词条、模糊人脸,三年三种补救。每种补救本身又是新的目的决定:谁定义"无论语境如何都具冒犯性"?内部标注人员。模糊人脸是修复还是抹除?研究者意见并不一致。数据集每被"修"一次,目的和边界就被重写一次。
## 给数据集配说明书
ImageNet 事件之前,2018 年 3 月,一份系统性提案已挂上 arXiv:《Datasheets for Datasets》(数据集规格书),七人署名,2021 年 12 月刊于 CACM。作者借电子工业作类比:任何元器件都随附规格书,说明工作特性、测试结果和推荐用途;而机器学习社区当时"没有为数据集撰写文档的标准化流程,这在高风险领域可能导致严重后果"(摘要口径)。
提案很直接:每份数据集都应随附规格书,记录动机、构成、采集过程、推荐用途等等,促进创建者与使用者的沟通,促使社区把透明和问责放在优先位置。
## 说明书里的身份问题
同一年,TACL 第 6 卷刊出另一套针对语言数据的提案:《Data Statements for Natural Language Processing》(数据声明)。它指向的问题很具体:用某一些人群的数据,为另一些人群开发技术(摘要口径)。
长表数据声明要求交代:策展理由(收了哪些文本、按什么目标筛选)、语言变体(用 BCP-47 标签标明)、说话人人口学特征、标注者人口学特征、言语情境与录制质量;由其他数据集加工而成的,还要把源数据集的声明作附录带上。另有 60 到 100 词的短表,供实验论文引用。作者对现状的观察是:已有文献里,对说话人或标注者的详细刻画非常罕见。
## 没写进说明书的劳动
文档标准记录数据的构成,做出数据的人的代价却很少成为字段。2023 年 1 月,TIME 刊出调查:从 2021 年 11 月起,OpenAI 把数以万计详细描绘儿童性虐待、谋杀、酷刑、自残等内容的文本片段,送到外包公司 Sama 在肯尼亚的团队做毒性标注,到手时薪约 1.32 到 2 美元,三份协议合计约 20 万美元(原文口径 200,000 美元)。三名员工说每个九小时班次要读并标注 150 到 250 段文本;Sama 则说每班次 70 段、税后时薪 1.46 到 3.74 美元,两种口径并陈。OpenAI 向 TIME 确认,这批标注建起的毒性检测工具最终装进了 ChatGPT。
平台一侧,文档已是标配:在 Hugging Face,每个数据集仓库的 README 就是"数据集卡片",顶部元数据写明许可、语言、规模和任务标签。官方文档对偏见的措辞是:为让使用者负责任地用数据,把潜在偏见写进卡片是个"好主意"。好主意,不是要求。卡片有许可证字段,却没有标注者工资和心理代价的字段。
## 数据集本身成为研究对象
2020 年,一篇 EMNLP 论文换了个方向:不看模型,看数据。《Dataset Cartography》(数据地图)用训练动态给数据画像:模型训练中对每个样本的置信度、以及置信度跨轮次的波动性,两个数就能把样本放到一张地图上,显出三个区域。歧义区域对分布外泛化的贡献最大;易学区域样本最多,支撑优化过程;难学区域的样本常对应标注错误。论文的问题意识是:对数据数量的过度强调,让数据质量难以评估。
2022 年挂出的《DataPerf》(刊于 NeurIPS 2023 数据集与基准赛道,45 人署名,MLCommons 维护)立场更直:机器学习研究长期关注模型而不是数据集,主流数据集被拿来就用,底层问题的广度、难度和忠实度很少被审视,结果是基准一个个饱和,真实应用里充满不准、偏见和脆弱。它提出一套评测数据集与数据本位(data-centric)算法的社区基准,让研究者对数据集迭代,而不只对架构迭代;首轮覆盖视觉、语音、数据获取、调试和扩散提示五个方向。
## 还没想清楚的
目的漂移没有机制来管。ImageNet 在 2009 年预期的是给词汇层级配上图像、外加三个简单应用,实际成了深度学习时代的基础基准;用途跑在设计目的前面时,没有流程要求重新确认目的(这是本文对论文与公开时间线的综合)。
文档还停留在自愿。规格书、数据声明、数据集卡片,三套标准都已问世多年,没有一套有强制力;从"好主意"到"必须写",距离没人量过。
补救没有传播机制。移除、模糊、删词条都在改变数据集,已经训好的下游模型不会自动跟着变;版本管理、撤回怎样传导到下游,工程实践里还是空白(按待检验表述)。
责任没有归属。数据集的错误造成实际伤害时,责任在制作者、托管平台还是使用方?ImageNet 团队有研究经费,花了好几年修数据;没有常设团队的数据集,出错之后由谁来修?
我的三个判断,显式标注在这里。第一,比规模更该先读的是决定:谁定的、为了什么、怎么记录;80,000 个同义词集的目标、600,040 张的移除、1.32 美元的时薪,都是决定的痕迹(这是本文的判断)。第二,文档必要但不充分:三年三种补救说明文档替代不了纠错机制,且每次纠错又是新的目的决定;由谁来定义"无论语境如何都具冒犯性",恰恰没写进任何文档(这是本文的判断)。第三,下次看到"在某数据集上训练或测试",可以先问三件事:为了什么目的、有没有文档、标注是谁做的(这是本文的判断,按待检验表述)。
不同读者可以带走不同东西。做数据集的人:发布前写规格书或数据声明,把标注流程和报酬写进卡片,哪怕平台不强制。用数据集的人:先读卡片和声明再看排行榜;数据地图里,歧义区域的样本对泛化最值钱,难学区域往往藏着标注错误。做政策与治理的人:从自愿到强制的距离、撤回向下游传导的机制,是两个当下能着手的切入点。普通观察者:数据集不是自然物,"用互联网训练"实际上总是"用某个人的选择训练"。
你有没有用过一个数据集,后来才发现文档和实际不符?或者见过文档完整到让你印象深刻的数据集?欢迎在评论区聊聊。
口径与边界:本文数字与引语均转写自官方声明、论文摘要、官方文档或媒体报道;ImageNet 两份原文的原站不可达,均据互联网档案馆快照转述;声明未点名艺术项目,时间关联来自媒体报道口径;标注工作量与工资在员工侧与公司声明侧冲突,正文双方并陈;调查系媒体报道,记者观点归其署名;《Excavating AI》页面未见出版年份,本文不作年份断言;三篇论文的 arXiv 摘要页均无利益冲突披露栏,本文不作断言;冒犯性类目仅节选四例;网页数据的清洗管线与基准污染(测试题混进训练数据)各有专篇,本文只讨论策展决策层。
来源:
- ImageNet: A Large-Scale Hierarchical Image Database,CVPR 2009(据互联网档案馆快照)
- Towards Fairer Datasets: Filtering and Balancing the Distribution of the People Subtree in the ImageNet Hierarchy,ImageNet 官方声明,2019-09-17(据互联网档案馆快照)
- Excavating AI,The AI Now Institute(NYU)出版,开放全文:https://excavating.ai/
- Image Database Purges 600K Photos After Trevor Paglen Project Reveals Biases,Artforum,2019-09-24
- Researchers Blur Faces That Launched a Thousand Algorithms,WIRED,2021-03-15
- Datasheets for Datasets,arXiv 2018-03,2021-12 刊于 CACM
- Data Statements for Natural Language Processing,TACL 第 6 卷,2018,第 587 至 604 页,DOI 10.1162/tacl_a_00041
- OpenAI Used Kenyan Workers on Less Than $2 Per Hour,TIME,2023-01-18
- Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics,EMNLP 2020
- DataPerf: Benchmarks for Data-Centric AI Development,NeurIPS 2023 Datasets and Benchmarks(MLCommons 维护)
- Dataset Cards,Hugging Face 官方文档