2023 年 5 月 29 日,一篇挂上 arXiv 的论文提出了一个很直接的主张:RLHF(基于人类反馈的强化学习)那套复杂流程,可以只用一个简单的分类损失来替代。这个方法叫直接偏好优化(DPO,Direct Preference Optimization),后来的论文摘要称它是被广泛使用的离线偏好优化算法。但研究陆续发现一件反直觉的事:照着这个损失去优化,模型该说的回答,概率反而可能在降;不该说的回答,概率反而可能在升。其中一组数字是:教模型拒绝不安全提示的训练,把 Llama-3-8B-Instruct 的拒绝率从 74.4% 降到了 33.4%。
## 一个分类损失,替代一整套流程
先看 DPO 简化了什么。传统 RLHF 分两步:先用人类偏好标注训练一个奖励模型,再用强化学习微调大模型,一边推高奖励,一边约束它别偏离原模型太远。2023 年 5 月的这篇论文指出,这套流程复杂而且常常不稳定。作者的做法是对奖励模型换一种参数化,使对应的最优策略能写成封闭形式,于是标准的 RLHF 问题只需一个分类损失就能求解:训练时不用从模型采样,也不用大量调超参数。实验结论是:控制生成情感的能力超过基于 PPO 的 RLHF,摘要与单轮对话的回答质量持平或更好,而实现与训练都简单得多。
稳定、性能好、计算轻量,是论文摘要给它的定语;免采样、少调参,则直接降低了上手成本(本文概括)。随后一年多里,它被广泛采用,也被陆续发现问题。
## 理论预警来得很快
五个月后,2023 年 10 月 18 日,一篇理论论文泼了冷水。它先厘清 RLHF 依赖的两个近似:第一,假设成对偏好可以用逐点奖励来替代;第二,假设在收集数据上训练的奖励模型,能泛化到策略采样出的分布外数据。DPO 绕过了第二个近似——它不再需要单独的奖励模型——但依然重度依赖第一个。作者提出了一个直接以成对偏好表达的一般目标 ψPO,可同时绕过两个近似,RLHF 与 DPO 都是它的特例;再把 ψ 取成恒等映射,得到 IPO,有可证明的性能保证,并在一些示例性实验上胜过 DPO。
这篇论文把讨论从「工程上好不好用」推进到「假设本身成不成立」(本文概括)。
## 偏好回答的概率,反而在降
2024 年 2 月 20 日,一篇论文把预警变成了证据。作者先从理论上证明:只要偏好回答与非偏好回答之间的相对概率在上升,标准 DPO 损失就允许偏好样本自身的似然下降。相当于说,损失只盯两者的差距,不管偏好那一侧的绝对值是不是在跌(对定理含义的通俗转述)。接着是实证:在常见数据集上微调大模型时,这个现象确实出现,尤其是当成对回答之间的编辑距离很小、也就是两个回答长得很像的时候。据此他们设计了新损失 DPO-Positive(DPOP),避免这种失效模式;实验里 DPOP 在多种数据集与下游任务上胜过 DPO,包括编辑距离大的数据集,在与微调数据无关的基准(如 MT-Bench)上也表现更好。用 DPOP 训练出的 Smaug-72B,成为首个在 HuggingFace Open LLM Leaderboard 上平均准确率超过 80% 的开源模型。
## 连奖励的定义也换了
2024 年 5 月 23 日,SimPO(NeurIPS 2024)把简化再推一步。它改动了隐式奖励的定义:直接用序列的平均对数概率作隐式奖励,更贴近模型实际生成的方式,还省掉了参考模型,计算与内存都更省。它还在 Bradley-Terry 目标里加入目标奖励边际,鼓励胜负回答之间拉开更大差距。结果:在 Mistral、Llama 3、Gemma 2 等基座与指令微调模型的多种训练设置下,SimPO 一致且显著地胜过 DPO 及其新变体,在 AlpacaEval 2 上最多高出 6.4 个点、Arena-Hard 上最多高出 7.5 个点,且没有显著增加回答长度;基于 Gemma-2-9B-it 的最佳模型拿到 AlpacaEval 2 长度控制胜率 72.4%、Arena-Hard 胜率 59.1%,并在 Chatbot Arena 真实用户投票中排名不到 10B 模型的第一。
## 位移可以灾难化
2024 年 10 月 11 日,一篇后被 ICLR 2025 接收的论文给这类现象定了名:似然位移(likelihood displacement)。它指出位移可以灾难化——概率质量从偏好回答移向意义相反的回答。作者给了一个极简例子:训练模型偏好 No 胜过 Never,可能让 Yes 的概率急剧上升。放到真实的对齐场景,这就是非意图的失对齐:训练模型拒绝不安全提示时,概率质量从偏好的拒答移向有害回答,Llama-3-8B-Instruct 的拒绝率因此从 74.4% 掉到 33.4%。
机制解释也随之给出:位移由嵌入彼此相近的偏好数据驱动,度量叫 CHES 分数(中心化隐嵌入相似度)。CHES 分数能识别一个训练集里哪些样本对位移贡献最大;实验里把这些样本过滤掉,就能有效缓解非意图失对齐。论文结论落在数据侧:偏好数据要足够可区分。
## 三个判断
五篇论文并排读,以下是本文的三个判断,不是论文原话。
判断一:「简单」的代价藏在数据几何里,不在损失函数表面(本文综合)。DPO 的损失只是一个二分类,纸面上没有任何一项在鼓励错误方向;位移会不会发生、多严重,取决于训练数据里成对回答的嵌入有多相近(CHES 度量的正是这个)。损失越简单好用,人们越容易忘记回头检查数据。
判断二:修复路径从改算法走到筛数据,说明问题一半出在偏好数据本身(本文判断)。DPOP 加约束项、IPO 换目标、SimPO 换奖励定义,都是算法侧的修法;而对位移最直接的缓解来自数据侧——把嵌入过于相近的样本识别出来过滤掉。算法能对冲失效模式,数据才是位移的源头。
判断三:排行榜胜率与拒绝稳健性衡量的是两件事,不能互证(本文判断)。SimPO 报的是 AlpacaEval 2、Arena-Hard 这类基准上的胜率;似然位移论文量的是不安全提示下的拒绝率。前者测回答讨不讨人喜欢,后者测该拒绝的时候拒不拒绝。排行榜上赢过的模型,不等于训练里没有发生位移。
## 不同读者可以带走什么
如果你在用经过偏好优化的模型:某个排行榜胜率高,不代表它在不安全提示前拒绝得稳,两类数字来自不同的测法。如果你在做对齐训练:先检查偏好数据的可区分性,成对回答是不是嵌入过于相近(CHES 的思路可以直接借用);训练中盯住偏好样本的似然有没有在绝对下降,而不只是相对差距在上升;DPOP、IPO、SimPO 各自针对不同的失效模式,按你的数据形态选。如果只是看热闹,一句话版本:把 RLHF 简化的那个方法,自己也会把概率推向反方向,研究者正在算法与数据两头修它。
下次看到「某模型排行榜登顶」的新闻,你会不会多问一句:换成不安全的问题,它还答得这么好吗?评论区聊聊。
最后一句边界:本文系对五篇 arXiv 论文摘要级阅读的整理,文中数字均转写自各自 arXiv 摘要,时间线取自各摘要页的挂出日期;DPO 原文、ψPO/IPO 与 Smaug 三篇论文的摘要页无会议栏,本文对其会议状态不作断言(SimPO 的 NeurIPS 2024 与似然位移论文的 ICLR 2025 均见于摘要页栏);五枚摘要页均无利益冲突披露段,本文对此不作断言。
来源:DPO 论文摘要 https://arxiv.org/abs/2305.18290