本页学习说明
本例把正文分成16个可读教学单位，令x₀为开始标记BOS，x₁到x₁₆为正文。输入位置i读取x₀到xᵢ，预测下一项；末尾正文位置预测结束标记EOS。第二个“用时”位于x₉，其目标是x₁₀=8。所有位置共用参数，因果遮罩分别限定每个位置的读取范围。
| 输入位置 |
可读取的前缀 |
目标 |
| x₀=BOS |
BOS |
x₁“在相同设置下” |
| x₉=第二个“用时” |
x₀…x₉ |
x₁₀=8 |
| x₁₆=末尾句号 |
x₀…x₁₆ |
EOS |
标签向后错开一项解决“预测谁”；因果mask解决“读取谁”。这两个设计不能互相替代。
深入解释与来源
同一段文字，给每个位置一个后续目标
本例采用16个可读教学单位，非真实tokenizer输出。记x₀=BOS，x₁…x₁₆为正文；输入位置i使用x₀…xᵢ，预测xᵢ₊₁（i=0…15）；位置16预测EOS。因此上、下两行各有17项。第二个“用时”是x₉，也就是把BOS计为第1列后的第10输入列；对应目标为x₁₀=8。因果mask阻挡未来输入，不会把标签变成当前可读内容。各位置使用同一组参数，训练序列已知带来同层并行，并不取消每个位置的可见范围。
来源与材料身份
- 原始入口：§3.1，物理第3页；因果decoder说明见同节
- 原始入口：L5已知输入并行与右移标签基线；当前16单位切分为教学构造
阅读完整讲义