返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

同一段文字,给每个位置一个后续目标

N25/b0 · 指定教学切分

为读图指定的16个教学单位;并非真实tokenizer结果1在相同设置下2,3A4用时5126秒7,8B9用时10811秒12。13未14测量15内存16。完整保留原文,下一步只改变输入与目标的对齐方式。
指定教学切分

我们先人为规定一组容易看清的文字单位,真实模型会用自己的tokenizer,未必这样切。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿编号 1–16 读完两行教学单位,指第 9 项“用时”;说明这里只规定可读的切分。

N25/b1 · 输入与标签右移

位置 i每一输入位置,预测右边的下一项x0BOS在相同设置下x1在相同设置下,x2,Ax3A用时x4用时12x512秒x6秒,x7,Bx8B用时x9用时8x108秒x11秒。x12。未x13未测量x14测量内存x15内存。x16。EOS输入目标输入目标第二个“用时”是x₉(第10输入列)→ 标签8。
输入与标签右移

现在把整段记录完整排出来,不只挑一个漂亮的位置。输入行最前面放开始标记,目标行向前错开一格:看到A,要预测后面的“用时”;看到这一次“用时”,要预测十二;读到B后面的“用时”,要预测八。最后还要学习什么时候结束。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,先指 BOS 与第一目标,再指第二行 x₉ 与下面的 8;最后指 EOS。

N25/b2 · 只读合法前缀

位置 i每一输入位置,预测右边的下一项x0BOS在相同设置下x1在相同设置下,x2,Ax3A用时x4用时12x512秒x6秒,x7,Bx8B用时x9用时8x108秒x11秒。x12。未x13未测量x14测量内存x15内存。x16。EOS输入目标输入目标合法前缀:x₀…x₉ → 标签 x₁₀ = 8
只读合法前缀

请一直盯住第二个“用时”这一列。上面是当前输入,下面的八是这一列要预测的标签。虽然训练数据整段都已经存在,我们不能让这个位置直接读取标签八,再宣布它预测得很准。因果mask规定,这一列只能利用它自己和此前的位置。资料是否已经收集到,与当前计算被允许看见什么,是两件事。

进一步解释

精确索引:x₀=BOS;x₁…x₁₆ 是正文的 16 个教学单位。位置 i 用 x₀…xᵢ 预测 xᵢ₊₁;位置 16 预测 EOS。第二个“用时”是 x₉,即计入 BOS 后的第 10 输入列。

教师备课:指图与模拟问答

指图与推进 · 不朗读保持 x₉ 的金色定位,沿可读的 x₀ 到 x₉ 走一遍,再指灰化的未来位置;不把灰字称为已删除。

N25/b3 · 所有位置共同计分

位置 i每一输入位置,预测右边的下一项x0BOS在相同设置下p → Lᵢx1在相同设置下,p → Lᵢx2,Ap → Lᵢx3A用时p → Lᵢx4用时12p → Lᵢx512秒p → Lᵢx6秒,p → Lᵢx7,Bp → Lᵢx8B用时p → Lᵢx9用时8p → Lᵢx108秒p → Lᵢx11秒。p → Lᵢx12。未p → Lᵢx13未测量p → Lᵢx14测量内存p → Lᵢx15内存。p → Lᵢx16。EOSp → Lᵢ输入目标输入目标17个位置共同训练同一组参数;EOS也是目标。
所有位置共同计分

现在让其他位置也一起给出预测。每个位置都可以产生一个误差,这些误差共同训练同一组参数。这里并不是十七个位置各有一个独立模型。由于正确输入序列在训练时已知,同一层的多个位置可以一起计算;每一行仍然有自己的可见范围。我们在第五讲见过的“训练并行、生成逐步”,就在这里继续成立。训练目标已经排好了,下一步要问:预测得好不好,怎样变成能更新参数的数?

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,指出各位置新增的 p→Lᵢ 和 EOS;从金色的那一列接到下一页计分。

补充推导、边界与来源

本页采用16个可读教学单位,非真实tokenizer输出。记x₀=BOS,x₁…x₁₆为正文;输入位置i使用x₀…xᵢ,预测xᵢ₊₁(i=0…15);位置16预测EOS。因此上、下两行各有17项。第二个“用时”是x₉,也就是把BOS计为第1列后的第10输入列;对应目标为x₁₀=8。因果mask阻挡未来输入,不会把标签变成当前可读内容。各位置使用同一组参数,训练序列已知带来同层并行,并不取消每个位置的可见范围。

来源与材料身份

  • 原始入口:§3.1,物理第3页;因果decoder说明见同节
  • 原始入口:L5已知输入并行与右移标签基线;当前16单位切分为教学构造
本页证据与条件

教学构造与教师参考;不是模型运行结果

进入主题正文