把后词概率，变成一次参数更新
本页问题
对当前实际目标8，单项损失可写为−ln pθ(8|前缀)。假设概率0.2与0.5分别对应约1.61与0.69的损失，说明评分规则偏好给实际后续更高概率。两张卡是独立对照。训练则要从一组参数完成前向、求损失、反向求梯度、优化器更新，再用新参数重新预测。
RC-P3/b0 · 两张独立计分卡
目标仍是前一页的八。假设第一组预测给八零点二的概率，取负自然对数得到约一点六一；第二组给零点五，得到约零点六九。其他条件相同，对实际后续分配的概率越高，这一项损失越小。这两张卡只比较评分规则；右卡不是左卡经过一次更新后的测量。
进一步解释
本页取自然对数：−ln(0.2)=1.609437912…；−ln(0.5)=0.693147181…。不同对数底会改变数值尺度，本课全程采用自然对数。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指目标 8，再分别读两张概率/损失卡，保持两卡独立。
本态来源与条件
概率0.2/0.5为独立教学假设；损失按自然对数复算，未声称一次优化实测。
RC-P3/b1 · 沿第一张预测反传
现在沿第一组预测看训练。输入表示进入Transformer，再经词表头得到分布；目标八选出要计分的概率。反向传播沿这条计算依赖求梯度：如果想改变损失，各个参与计算的参数该怎样改变？红线回到表示参数、attention、MLP和词表头等位置。原文中的十二和八仍是输入材料，梯度并不改写这些文字。
进一步解释
反向传播求的是损失对可训练参数的导数。输入token身份固定，但其被查取的embedding参数若未冻结，仍可通过本次计算获得梯度。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿第一张卡到前向模块，再沿红色梯度到参与计算的参数。
本态来源与条件
概率0.2/0.5为独立教学假设；损失按自然对数复算，未声称一次优化实测。
RC-P3/b2 · 优化器真正更新 θ
优化器根据梯度和自己的状态，将参数θ更新为θ′，然后必须重新做前向计算，才知道新的分布是什么。不能从两张示意卡断言一次更新就把零点二变成零点五：一次更新还汇总其他位置与样本的影响。样本、目标、损失、梯度、更新已经连成闭环。下一问是：后词预测究竟可能要求模型处理多长、多复杂的关系？
教师备课：指图与模拟问答
指图与推进 · 不朗读指 θ→θ′ 和返回前向的箭头；右侧0.5卡仍标独立对照。
本态来源与条件
概率0.2/0.5为独立教学假设；损失按自然对数复算，未声称一次优化实测。
接下来
下一问：一个后词可能要求处理怎样的关系？
补充推导、边界与来源
| 假设预测 | 目标8的概率 | 单项损失 −ln p |
|---|---|---|
| 一 | 0.2 | 1.6094 |
| 二 | 0.5 | 0.6931 |
两行只是同一计分规则的对照。一次训练遵循：参数θ与输入→前向分布→目标损失→参数梯度→优化器更新为θ′→重新前向。输入文字不因反向传播而被改写。
深入解释与来源
把真实后词的概率，变成一次参数更新
语言模型位置损失为 $L_i=-\log p_\theta(x_i\mid x_{<i})$，整段损失可取选定位置之和或均值。对目标8，假设概率0.2对应损失1.6094379，假设概率0.5对应0.6931472。两张概率卡只是计分对照，不是一轮优化的前后实测。训练闭环为前向分布、计算损失、反向梯度、优化器更新，再重新前向；一次更新不保证所有样本的损失同时下降。
来源与材料身份
- 原始入口：§3.1语言建模对数似然；0.2/0.5及损失为本课给定算例
本页证据与条件
概率0.2/0.5为独立教学假设；损失按自然对数复算，未声称一次优化实测。