对模型最容易说、也最难兑现的一句话是:你那条错了,改过来。2024 年一份 22 位作者的综述开篇点出矛盾:训练计算成本高昂,世界却一直在变,过时信息需要随时纠正,高效、轻量的即时修改方法因此成了受关注的方向。直接改写那条错误记录看似优雅,动笔的材料却与纸面完全不同:纸面条目显式,笔落在哪一条清清楚楚;权重里没有这样的条目集合。这个问题有一个更精确的问法:当新证据到来,旧的信念里该放弃哪些、怎样放弃?文献里叫信念修正(belief revision)。四十多年前,符号系统时代给过两个答案,一个工程的,一个逻辑的。今天的大模型两个都没落实。
## 证据打在整体上
为什么「放弃一条」需要一整套规则?科学哲学里叫整体论的立场给出底层理由(转述,未获逐字来源):一次观察检验面对的从来不是单个假设,而是假设连同辅助假定、仪器理论的一整捆;预测落空,逻辑只说这捆里有错,不说该抽哪一根。可以改核心假设、改辅助假定,也可以怀疑仪器。修订永远有多种选法,「改哪一处」需要额外结构才能决定。这也是「讨论具体判断」的深层结构:证据撼动的从来不是孤立一句话。信念系统没有重要程度、理由、层级这类结构,「合理的修订」就无从谈起。
## 给信念配上理由
1979 年,MIT 人工智能实验室的一份技术报告(Memo 521,6 月挂出,同年刊于 Artificial Intelligence 期刊第 12 卷第 231 至 272 页)把修订直接做进了机器。系统叫真理维护系统(Truth Maintenance System,TMS)。官方摘要列了七项内容:系统的表示与结构;修订当前信念集的机制;依赖导向回溯(dependency-directed backtracking)怎样改变当前假设集;信念解释的摘要技术;怎样把问题求解器组织成「辩证争辩」关系的模块(论文自用引语);怎样修订对他人信念系统的模型;怎样在假设模式中嵌入控制结构。
从修订的角度读,摘要交代的核心是:推理程序先做假设,发现与假设矛盾时随后修订信念;TMS 执行这些功能的方式,是记录并维护程序信念的理由。摘要里还有一句明确的交代:问题求解器需要在备选信念系统之间做出选择。这句承认的正是整体论困境:改法有多种,机器必须有选择机制。全文未能在公开渠道取得,以上转述全依官方摘要口径,摘要之外的机制细节不展开。
## 把「正确的改」写成公设
1985 年 6 月,Journal of Symbolic Logic 刊出一篇 21 页的论文(1983 年 10 月 18 日收稿,1984 年 5 月 1 日修回,第 510 至 530 页),三位研究者联合署名,后以三人姓氏首字母被通称 AGM 框架,本文只把它作框架名用。论文把理论变化整理成三种操作:扩张(expansion,新命题直接加入)、收缩(contraction,去掉一条已有命题)、修订(revision,加入一条与原理论冲突的命题,同时保持结果一致且封闭)。论文还转写了一个法律类比:当理论是规范法典时,收缩在法理论学者那里叫 derogation,修订叫 amendment。法律制度早就遇到过同一个问题。
论文随后回顾一组合理性公设,写明是回顾自早先文献:收缩与修订各六条,条条有名字。收缩侧为例:封闭(结果仍是理论)、包含(只减不增)、空洞(命题与理论无关就一字不动)、成功(该去掉的确实不再可推出)、保持(逻辑后果相同的命题同等处理)、恢复(被去掉的命题重新被接受后,原理论可以收回)。恢复值得停一下:它让删除可以收回,跟今天工程里说的「回滚」是逻辑近亲。修订还能化归为收缩:先去掉新命题的否定,再加入新命题。论文沿用早先工作把这叫 Levi 恒等式。
这篇论文自己的贡献是构造。把「不蕴含待删命题的极大子集」全部取交,剩下的太少:收缩后只剩待删命题的否定单独能推出的内容,经 Levi 恒等式转成修订,所得不过是新命题自身的逻辑后果,原文两处都判定 "far too small"。任挑一个极大子集,删得又太多:论文称这种挑法有「膨胀性质」(inflation properties),新命题与原理论冲突时,修订结果会是完备理论,对任何命题都给出了答案。论文的走法是部分 meet 收缩(partial meet contraction):用选择函数在候选子集里挑出若干「最重要」(论文自用引语)的,取它们的交集;「重要」如何落地,由候选子集上的关系结构给出,其中一位作者在早先文献有专门讨论。表示定理证明:这类构造满足上述合理性公设,且足够一般,能为公设提供表示。「怎样改才算改对了」从此有了数学刻画。
## 版本与回滚
同样的直觉在人类知识组织里早已制度化。维基类社区知识系统把每次改动都记录下来:改动者、时间、经过的讨论,旧版本保留、随时可取回;修订在这样的系统里是有痕迹的一等事件(背景常识,不依赖单一来源)。同 1979 年的理由记录、1985 年的恢复公设放在一起看,这个想法朴素得很:要让修订合理,先得让修订可记录。至于知识从哪里来,已有另文讨论,这里只看知识怎样改。
## 在权重里定位与写入
2022 年起,大模型一侧用完全不同的材料把问题往前推。2022 年 2 月的一篇论文(comment 栏注明 NeurIPS 2022)先给出事实知识在模型里「有地方」的证据:因果干预找出对事实预测起决定作用的神经元激活,中间层前馈模块在处理主语词元时中介事实预测。有地方,就能直接改:方法叫 ROME(Rank-One Model Editing,秩一模型编辑),改动前馈权重来更新特定事实关联。评测有两层:在标准零样本关系抽取(zsRE)编辑任务上与既有方法相当;在专为更灵敏评测新造的反事实断言数据集上,专一性与泛化同时保持,其他方法顾此失彼。
同年 10 月,MEMIT 把写入从单条推到批量:扩展到数千条关联,在 GPT-J(6B)与 GPT-NeoX(20B)两个模型上验证,超出先前工作几个数量级。摘要写明的动机:替换过时信息,或添加专门知识。
## 涟漪
2023 年 7 月的一篇论文点破这条评测路线没看到的地方(comment 栏注明 2024 年为 TACL 接收):此前评测主要只测两件事:单条事实是否写入成功,对其他主语的相近预测是否未变。但知识有关联性。论文的例子很直接(按摘要匿名转述):把「某人是某位名人的儿子」写进模型,「这个人是那位名人另一个孩子的兄弟姐妹」这类陈述也应跟着变。论文把这叫涟漪效应(ripple effect),并据此构造了包含 5 千条事实编辑的专项检测基准 RippleEdits(原文称 diagnostic benchmark),覆盖多种类型。结果是:现有编辑方法未能在模型知识中引入一致的变化;得分最好的反而是简单的上下文内编辑(in-context editing)基线,不动权重,把新事实写进上下文。
2024 年 1 月的综述(22 位作者,到当年 11 月已修订至第 5 版,comment 栏注明仍在进行)把这个领域整理成三条路线:借助外部知识、把知识合并进模型、编辑内蕴知识;并给出新的评测基准 KnowEdit 与知识定位分析。它第 5 版的修订说明里有个易被略过的细节:作者修复了配套工具中与两种编辑方法相关的计算错误、优化部分方法,再更新比较表结果。研究修订的综述自己一再被修订,大概是这个领域最诚实的注脚。
## 三个判断
第一,信念修正在 1980 年代中期已经形式化:公设给出「正确的改」的判据,构造给出满足判据的走法,真理维护系统把信念的理由做成显式记录(本文综合两条线索材料)。今天的大模型知识系统没有对应物:权重里不存在一个叫信念集的命题集合,编辑权重与更换检索来源都不是信念集修订,而是对无集合系统的局部补丁。
第二,涟漪错误说明「改一个事实」在连续叠加的权重里比在显式符号结构里更难(本文判断)。符号系统把「还要改什么、能不能收回」预先写进规则:理由记录支撑修订,恢复公设保证可悔性;权重系统只能在评测里事后发现不一致。5 千条编辑的检测基准与「现有方法未能引入一致变化」的判定,正是这个缺失的代价。
第三,修订问题的重心不在写入技术,而在证据与来源的组织,以及修订权的归属(本文判断):什么能改、凭什么改、改错了怎样退回,都需要显式记录作为前提。这个判断的证据仍然单薄,眼下最有力的经验事实大概是:涟漪基准上得分最好的,恰恰是不动权重的方法。按待检验表述。
## 不同读者能带走什么
给维护大模型应用的团队:把每次知识编辑当一次发布对待,单点改完对关联事实做一致性回归;轻量更新优先考虑检索侧与上下文侧,上下文基线在涟漪基准上的强势值得认真对待。
给评测研究者:单点注入成功率已不够用,涟漪与一致性维度有现成的检测基准;同时记住综述的教训,评测工具自身的计算错误修掉之后,结果数字也随之改变。
给关注平台规则的读者:知识修订的审计与回滚都依赖显式记录;权重系统怎样获得一份「像版本史那样平常」的记录,是制度空缺,也是技术空缺。
给普通读者:「AI 胡说」的日常直觉背后是个老认识论问题:证据改变的不是单条信念,而是整张信念之网;人类靠记录理由、保留版本让修订可管理,模型今天两样都还没学会。
你有没有试过纠正 AI 的一个错误?改完后它认账了吗,还是在别处「跟着变了」?评论区聊聊。
口径与边界:1985 年论文经全文级实读,依据公开镜像扫描件(共 21 页,OCR 有噪声,英文引语按镜像转写;页码 510-530 按页眉推定,第 2 页为 511、第 20 页为 529;DOI 10.2307/2274239 经解析实测指向出版商文章页);1979 年报告为摘要级,全文公开通道多次被拒(403 与限流 429),摘要未载的机制细节一律不写;四枚 arXiv 论文均为摘要级,数字与结论以摘要口径为准,MEMIT 编辑规模按摘要「数千条」表述、不采正文更大数字;整体论段为转述,一手文献未获取,不作逐字引用;维基类系统版本记录段为背景常识,此类系统怎样管理版本另有专篇讨论,本文不展开平台机制;AGM 与 Levi 恒等式系姓氏与人名固化的惯用名,仅作框架名与术语使用,正文不出现研究者姓氏,论文以年份与发表处指称;涟漪示例按摘要匿名转述;两项编辑研究先后仅按挂出时间陈述,不作团队归属断言;论文类来源无利益冲突披露栏,不作有无断言;ROME、MEMIT、RippleEdits、KnowEdit、GPT-J、GPT-NeoX、zsRE、TMS 系专名照录,不构成产品评价;「四十多年前」系取整。真理维护系统、依赖导向回溯、部分 meet 收缩、涟漪效应等译法首现均附英文。检索增强的机制层已有另文讨论,本文只在分工层面带过。
来源:《On the Logic of Theory Change: Partial Meet Contraction and Revision Functions》,The Journal of Symbolic Logic, Vol. 50, No. 2(1985 年 6 月),pp. 510-530,DOI 10.2307/2274239;《A Truth Maintenance System》,Artificial Intelligence, Vol. 12(1979),pp. 231-272,另 MIT AI Lab 技术报告 Memo 521(1979 年 6 月);arXiv 2202.05262《Locating and Editing Factual Associations in GPT》,2022 年 2 月 10 日挂出,comment 栏注明 NeurIPS 2022(https://arxiv.org/abs/2202.05262);arXiv 2210.07229《Mass-Editing Memory in a Transformer》,2022 年 10 月 13 日挂出;arXiv 2307.12976《Evaluating the Ripple Effects of Knowledge Editing in Language Models》,2023 年 7 月 24 日挂出,comment 栏注明 TACL 2024 接收;arXiv 2401.01286《A Comprehensive Study of Knowledge Editing for Large Language Models》,2024 年 1 月 2 日挂出,2024 年 11 月 17 日修订至 v5,comment 栏注明进行中。