整段在手，不等于每一行都能偷看答案

回访上一讲的英文生成。某一行已经看到 I gave，要预测后面的词。训练文件里虽然有完整句子，我们仍用因果 mask 限制这一行只能读它之前和当前位置的输入；后面的正确答案不能沿 attention 直接流回来。

再看其他行。每一行都有自己允许的前缀和对应目标。它们的输入都已经由数据给定，所以同一层里许多行可以一起计算；各行受到的可见性限制却不同。这两件事可以同时成立：批量计算没有取消因果约束，mask 也没有要求 GPU 必须把每一个已知位置依次单独算完。

使用时也有两种不同的工作。用户已经给出的整段提示是已知输入，可以一起做前向计算；后面我们把推理中的这个阶段叫 prefill。它和刚才训练的并行前向有共同结构，但此时没有标准答案标签，也不执行那套损失与反向更新。接下来尚未产生的输出 token 则必须逐个生成，这叫 decode。能一起处理已知输入，并不意味着输入变长后工作量不再增长。下一页只改变长度，看增加的工作在哪里。