训练结束后，这一次请求从哪里开始？

刚才我们一直在训练现场：要保留梯度、优化器历史，还要更新参数。现在开始服务一次请求，留下来使用的是训练好的参数。看左边，仍是开场那份材料：相同设置下，A十二秒，B八秒，没有测量内存；要求只根据材料概括。训练没有替我们提前算过这一份新输入，它必须重新进入模型，形成这次的状态。

这段输入都已经给定，可以在每一层把多个位置排成矩阵计算。沿图从左往右看：已知token进入，因果mask仍在，每个位置只读取合法前缀；然后逐层得到表示和K/V，也得到第一个输出位置的概率分布。这段处理已知输入的阶段叫prefill。这里并行的是已经知道的位置，不是还没有产生的整段回答。

假设这一步选出了B，它才成为新的已知内容。沿绿色箭头看，B进入下方单独标出的decode区域，使用已经建立的各层K/V，再预测下一个token。prefill与decode使用同一套模型参数；变化的是这次送入多少新位置，以及哪些旧计算可以复用。下一页只放大decode中的一层，看看这个新token怎样读取旧K/V，又留下什么。