本页学习说明
一些后训练流程会用当前策略生成多份候选，再收集人的偏好或可核对的评价信号。候选生成仍是服务计算，涉及prefill、decode、KV与调度；其效率影响这些训练流程的成本。并非每个SFT阶段都需要在线生成候选。
评价信号必须经过明确训练目标和更新步骤，才能改变参数。普通请求生成答案、用户在当次上下文提供反馈，并不等于这次推理自动做了梯度更新。偏好模型、PPO、DPO和验证器分别有自己的训练对象与目标，不能压成同一种算法。
可以定位三类改进：改变训练及参数；改变本次输入与状态；改变计算、缓存与调度组织。三者相互关联但不互相替代。
服务回到后训练的完整页 · 偏好模型 · PPO · DPO · 验证器 · 适配主题 · InstructGPT Fig.2与§3.1/§3.5。
阅读完整讲义