已有偏好对，可以直接优化

上一页的路线要让模型生成，再由奖励模型评分。如果已经有一批质量较好的偏好对，我们还可以直接拿这批数据训练。这个方法叫直接偏好优化，简称DPO。屏幕仍然是同一份A/B材料、同一条获选回答甲和未获选回答乙；因此变化不在任务内容，而在训练怎样使用评价。DPO会计算当前生成策略给这两段回答各自分配的概率，也会计算固定参考策略给它们的概率。参考策略的位置仍然保留，它不是正在追赶训练策略的另一个学生。这让比较有一个固定起点；如果不区分谁变、谁不变，只看两条概率箭头，就会失去这个目标的含义。

为什么还要看参考模型？假如原来的模型本来就很偏爱甲，我们要区分原来已有的倾向与这次训练进一步施加的变化。DPO比较当前策略对甲乙的优势，再减去参考策略原有的优势，推动获选回答相对变得更有利。数学上使用对数概率，是为了方便把一串token的概率组合起来。这里不要求大家现场推导，只要认清三个对象：两条回答、正在训练的策略、固定参考。它也不等于“把甲的绝对概率一直调高”这么简单，因为目标直接约束的是这组相对关系。

这样，原始DPO训练时可以不单独训练一个显式奖励模型，也不必每一步走在线采样、评分、强化学习的完整闭环。它仍然在更新生成模型参数，也仍然依赖偏好数据。假如数据只奖励流畅而不检查事实，直接优化并不会自动修复这个问题。我们把DPO放在这里，是为了看清同一种比较信息可以怎样进入训练，并不是说一种算法替代了所有后训练。下一页进一步改变信号来源：有些任务的好坏不一定要人逐条比较，答案可以交给规则核对。