训练结束后，这一次请求从哪里开始？

正在载入课堂画面…

本页学习说明

训练结束后，普通推理保留模型参数，不为每条请求重新建立梯度和 Adam 更新历史。本次输入仍须经过所有层，计算新的表示与 K/V。prefill 是处理已知提示的前向阶段；对因果模型，位置可批量处理，但每个位置只能读取合法前缀，层与层之间仍有依赖。

首输出概率分布与选择首 token 是两个动作。选出首 token 后，才有新的已知输入供下一轮 decode 使用。图中的 B 仅标识示意 token，不宣称真实 tokenizer 切分或模型运行结果，也不把 prefill 画成同时生成完整回答。