分数怎样改变下一次生成？

现在让负责回答的模型自己生成候选。强化学习里常把它叫作策略，不是多出一个完全不同的东西，而是强调它在每一步怎样给候选token分配概率、怎样选择下一个token。一整段回答就是这些选择连续形成的轨迹。同一问题可以采样出多条不同回答，已经训练好的语言能力提供了这些可能性。此刻图中有三个模型对象，我们先保持位置固定：中间是要改的生成策略，上方是已经训练好的奖励模型，旁边是用来约束变化的参考模型。

把生成的回答交给奖励模型，得到评价分数。对我们的A/B材料，守住内存未知这个边界的回答，应当得到更有利的评价；凭空扩写优势的回答应当较差。这里用的是机制示意，没有给出一个虚构实测分数。奖励模型在这个策略训练阶段保持固定，否则一边改回答、一边随意改评分规则，我们就很难看清训练信号从哪里来。固定并不等于完美：它可能看漏错误，也可能被某种写法误导，所以真正任务上的检查仍然重要。

分数不会直接变成模型里一句新的知识。训练利用这个信号，调整生成策略的参数，让获得较好评价的轨迹，相对于其他轨迹更可能再次出现。因为轨迹由许多token选择构成，更新会通过各步的对数概率与梯度影响参数。屏幕用概率箭头表达方向，不是把某次答案百分之百背下来。一次更新面对的是一批生成，可能还会减去基线、估计相对好坏，所以不是“所有得正分的字都统一加分”。PPO就是组织和约束这类策略更新的一种方法，今天不展开它的优化公式，先把正在变化的对象认清。参数变化会同时影响其他输入，所以优化不是只对眼前这一条回答打补丁。这也是为什么要让任务分布和独立评价覆盖实际用途，避免把训练中某一类高分生成误认成全部能力改善。

旁边的参考模型还承担一个工作：限制生成策略离原来的分布偏得太远。否则只追着近似奖励走，模型可能学到一种讨评分器喜欢、却不再可靠的写法。参考约束不是禁止学习，而是在改善评价和保留已有行为之间作控制。到这里，闭环才完整了：生成候选，固定评价者评分，利用好坏差异更新生成策略，同时参照固定模型限制变化。我们始终在改中间负责生成的模型。接下来换一种办法：如果手里已经有大量偏好对，能不能直接拿它们训练，而不每次都经过一个显式奖励模型和在线生成闭环？