生成候选，又会成为下一轮训练的材料

刚才把训练与服务分开，是为了认清状态；在工作流程里它们又会连接。例如一些后训练方法先用当前模型对许多提示生成候选，再收集偏好或可核对的评价。沿图从参数到服务系统，再到候选和评价：这些候选仍然需要prefill、decode、K/V和批次安排，服务效率因此影响这类训练流程的成本。候选质量仍要实际评价。

现在出现评价返回参数的路线。请沿绿色线看，中间必须经过明确的训练目标和优化器，之后才更新θ。只是生成一个回答，或用户在当前输入里写一句反馈，不会使这一轮普通推理自动完成梯度更新。偏好模型、PPO、DPO和可验证反馈各自怎样用信号，深入材料中可以展开；这张图先把更新发生的条件讲清楚。

同一张图上现在有三个可操作的位置。继续训练，改变的是参数；换材料、规则或示例，改变的是本次输入及其状态；调整缓存和调度，改变的是计算怎样被执行。先辨认问题落在哪里，再选择动作：缓存安排不能替代新证据，给新证据也不等于训练了新参数。

现在收起训练候选的支路，回到开场那一份完整请求：相同设置下，A十二秒，B八秒，没有测量内存；只根据材料概括比较结果。参数仍由过去训练形成，这份材料重新进入运行系统。下一页沿这条回答逐项回找，检查事实、本领与执行各从哪里来。