本页学习说明
对当前实际目标8，单项损失可写为−ln pθ(8|前缀)。假设概率0.2与0.5分别对应约1.61与0.69的损失，说明评分规则偏好给实际后续更高概率。两张卡是独立对照。训练则要从一组参数完成前向、求损失、反向求梯度、优化器更新，再用新参数重新预测。
| 假设预测 |
目标8的概率 |
单项损失 −ln p |
| 一 |
0.2 |
1.6094 |
| 二 |
0.5 |
0.6931 |
两行只是同一计分规则的对照。一次训练遵循：参数θ与输入→前向分布→目标损失→参数梯度→优化器更新为θ′→重新前向。输入文字不因反向传播而被改写。
深入解释与来源
把真实后词的概率，变成一次参数更新
语言模型位置损失为 $L_i=-\log p_\theta(x_i\mid x_{<i})$，整段损失可取选定位置之和或均值。对目标8，假设概率0.2对应损失1.6094379，假设概率0.5对应0.6931472。两张概率卡只是计分对照，不是一轮优化的前后实测。训练闭环为前向分布、计算损失、反向梯度、优化器更新，再重新前向；一次更新不保证所有样本的损失同时下降。
来源与材料身份
- 原始入口：§3.1语言建模对数似然；0.2/0.5及损失为本课给定算例
阅读完整讲义