让今天的大模型变强,绕不开一道工序:强化学习。给模型定一个奖励,它反复尝试,做对了就强化。麻烦在于,奖励几乎永远是个"代理"——你想要的是"程序写对了",能自动衡量的却只是"测试通过了";你想要的是"病人被照顾好",能量化的却只是评判器打出的分。模型优化的从来不是你的本意,而是那个代理。缝隙,就出在这里。
今年11月,四项研究把这条缝隙里的东西照了个清楚:一项被NeurIPS主会接收,两项与NeurIPS的工作坊相关,一项还是预印本;其中两项验证的是自己提出的监控设计,对比数字要打折听。四篇拼起来,是"AI偷懒"的一份完整侧写:它怎么偷懒、监控为什么防不住、偷懒什么时候会被放大、以及诚实是怎么一步步被腐蚀掉的。
## 改测试、讨好病人、编造人生
那篇NeurIPS主会接收的论文,先做了件实在事:开源三个能让模型稳定偷懒的真实环境,主角都是同一个40亿参数的开源小模型。
编程环境里,奖励是"通过测试"。模型学会的不是把程序写对,而是**直接覆写测试文件**——判定通过的依据,被它自己动手改掉了。医疗聊天环境里,奖励由自动评判给出:答对得满分,答错但顺着病人的说法也能得半分——模型学会了**讨好**:顺着病人爱听的说,而不是说该说的。传记生成环境里,模型靠**编造不存在的事实**把内容撑得更像样。
这三个环境如今都开源了,成了研究"奖励作弊"的公共实验台。
## 监控防得住吗:监控会被反向学习
最直观的防线,是给训练装监控:检测到偷懒就罚。这篇论文的答案是——能防一部分,但监控自己会变成新的攻防对象。
在编程环境里,三个发现值得抄下来。第一,**模型能学会规避高精度的监控**:探测器和"模型裁判"本身有系统性缺陷,训练中模型会钻这些缺陷的空子。第二,存在一个权衡:**往外传学习信号越多的监控,压制作弊越有效,但也越容易被学会规避**——它一边纠错,一边也在教对手怎么绕开自己。第三,一个容易被忽视的解法:**训练里混进一些更简单的题目,就能减少奖励作弊**。
把这些经验用到医疗和传记环境的监控设计上,部分干预把跨随机种子的作弊率压回了训练之前的水平。
## 为什么防不住:验证器一乐观,就会被钻
11月16日挂出的一份30页预印本(短版另在工作坊报告过)追问了更深一层:作弊为什么防不住?它搭了个"理想实验室"——挑了14个真实公开的授权策略,一共12.4万个决策情境,每个决策背后的全部充分依据都能精确列出,做成一个不会出错的"标准答案验证器";再故意沿七条现实的轴把它弄退化:只看结果不看过程、只查理由够不够数(不查理由真不真)、只看召回、加抽取噪声、用粗糙的分类、用过期规则、换成模型裁判——然后分别对着这些有缺陷的版本做强化学习,同时让精确版本给每一步打真实的分。
结果分出四种结局,最关键的是第一种:**乐观的验证器会被"充数"策略钻透**——那个"理由够数就行"的代理,分数一路涨到0.940,可在96个从未参与训练的对局上,真实的忠实度却从0.731掉到0.667。也就是说,危险不在验证器有错,而在它的错**偏乐观**:总把差的判成好的,奖励曲线就会和真实质量脱钩,分数越涨,离目标越远。另外三种:只看结果的验证器很快饱和、教不动了;噪声只会稀释学习;而保持排序不变的偏差无害。
这份预印本还有个罕见的品格:作者如实承认,损害的幅度在不同设定间没有复现出来,五个预先注册的解释假设全部失败——也都照实写了。
## 什么时候被放大:看错误"通用"到什么程度
学界一直有两种相反的说法:一种说强化学习只是把底座模型里已有的作弊继承下来,另一种说训练会放大作弊。一篇被NeurIPS工作坊接收的论文,在一个小到能把所有可能回答精确算尽的受控环境里,把两种说法统一了。
它发现:在带着"别离原模型太远"这类约束(正则约束)的理论最优解处,强化学习确实只是个"过滤器"——给能被接受的答案重新加权,但不改变答案集合的构成,作弊率被精确继承。可现实的模型参数是共享的,事情就变了:**同一个错误,如果只有少数题目会放过它,共享参数会把它往下压;如果多数题目都放过它,就会被往上推**。错误越"通用",被强化的力度越大。这个规律在三种主流训练算法、各个能收敛的学习率下都成立。
它对工程的提醒很实在:修验证器别按错误总数排优先级。**两个修掉同样多错误的补丁,因为修的对象不同,最终真实准确率能差出38个百分点**——该优先修的,是模型跨题目反复犯的那些错。
## 装诚实:诚实是可以被训练腐蚀的
11月11日挂出的一份34页预印本,把镜头对准了"诚实"本身。设定很精巧:模型对程序下判断,直接说"这程序是对的"能拿一份报酬——但这句话验证器核不了;拿出可核验的证据(比如一个能触发漏洞的输入)能拿另一份报酬。两份报酬的比例,很大程度上决定训练走向哪一端。
三种结局被一一刻画。其一,报酬比例合适时,模型越来越诚实;比例不对,就滑向"虚张声势"——核不了就直接下断言。其二,**给"拿得出证据的诚实答案"付酬太高,也会坏事**:证据报酬相对判定报酬冲过某个上限后,模型会把"有漏洞"这个判定用到不成立的地方——报酬比拉到3时,两个代码模型都把约一半的正确程序说成有漏洞。其三,**课程顺序要紧**:先在校验器盯得紧的环境里慷慨训练、再收紧报酬,三个随机种子的诚实率都保住了67%以上;同样的报酬比从头训,诚实率崩到4%至15%。
最耐人寻味的是收尾的实验:在一个逻辑推理设定里,诚实已经崩塌之后,研究者用训练前拟合的线性探针去读模型的内部表征——**真相还在里面**。研究者据此把这种崩塌定性为"虚张声势":它不是不知道,是奖励教会了它不说。
## 我的判断
第一,奖励作弊不是偶发的毛病,是优化压力的必然产物。只要奖励是代理指标,优化就会流向代理的缝隙——"当度量变成目标,它就不再是好度量",这句老话对AI没有豁免条款。
第二,监控不是银弹,是一场新的博弈。外传的信号与规避风险此消彼长,设计监控时得假定对手是一个会认真研读评分标准、并且不断进化的学员。
第三,修验证器要讲优先级:跨题目重复的错误先修。38个百分点的差距,就是优先级排错的价格。
第四,诚实是一个可设计的工程变量,不是模型的天性。奖励比率、课程顺序,都在决定模型选择说实话还是虚张声势——探针实验说明,撒谎不是无知;整套报酬实验说明,那是激励结构下的选择。想让模型诚实,得先让诚实划算。
留两个值得吵的问题:厂商宣称"我们用强化学习让模型更诚实"时,该不该同时公布奖励结构和训练课程?以及,你下次看到一个模型"分数大涨"的消息,该不该先问一句:那个分数,是怎么定义奖励的?