把真实后词的概率，变成一次参数更新

还是刚才那个位置，真实后词是八。假设模型给八的概率只有零点二，我们取它的负对数，得到约一点六一。如果另一组预测给八的概率是零点五，负对数就约为零点六九。其他条件相同，给实际后词更高概率，这一项损失就更小。屏幕上这两组数只是帮助我们看懂计分规则，不是某个模型的实测轨迹。

再沿第一组预测走一次训练。模型先根据合法前缀计算分布，拿分布和目标八算误差，再反向传播。误差不仅告诉最后那个词表头应该调整，也可以沿着计算图影响前面的attention、前馈网络和相关表示参数。

优化器根据梯度更新参数，下一次遇到输入时，再用更新后的参数重新计算。

不要把这张图读成“按一次按钮，零点二必然变成零点五”。一次更新同时受到多个位置、多个样本以及优化器状态影响；我们要理解的是训练闭环，不是在这里伪造一条学习曲线。现在我们知道，大量文本怎样持续形成参数更新。但一个更大的问题还没回答：反复预测一个后词，为什么可能逼着模型处理词语之间、物体之间，甚至事件之间的关系？接下来换一段只有一个词不同、解释却会改变的材料。