完整深入材料 · 保留原页与全部停点。回到相关主讲
同一段文字,给每个位置一个后续目标
N25/b0 · 指定教学切分
我们先人为规定一组容易看清的文字单位,真实模型会用自己的tokenizer,未必这样切。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿编号 1–16 读完两行教学单位,指第 9 项“用时”;说明这里只规定可读的切分。
N25/b1 · 输入与标签右移
现在把整段记录完整排出来,不只挑一个漂亮的位置。输入行最前面放开始标记,目标行向前错开一格:看到A,要预测后面的“用时”;看到这一次“用时”,要预测十二;读到B后面的“用时”,要预测八。最后还要学习什么时候结束。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,先指 BOS 与第一目标,再指第二行 x₉ 与下面的 8;最后指 EOS。
N25/b2 · 只读合法前缀
请一直盯住第二个“用时”这一列。上面是当前输入,下面的八是这一列要预测的标签。虽然训练数据整段都已经存在,我们不能让这个位置直接读取标签八,再宣布它预测得很准。因果mask规定,这一列只能利用它自己和此前的位置。资料是否已经收集到,与当前计算被允许看见什么,是两件事。
进一步解释
精确索引:x₀=BOS;x₁…x₁₆ 是正文的 16 个教学单位。位置 i 用 x₀…xᵢ 预测 xᵢ₊₁;位置 16 预测 EOS。第二个“用时”是 x₉,即计入 BOS 后的第 10 输入列。
教师备课:指图与模拟问答
指图与推进 · 不朗读保持 x₉ 的金色定位,沿可读的 x₀ 到 x₉ 走一遍,再指灰化的未来位置;不把灰字称为已删除。
N25/b3 · 所有位置共同计分
现在让其他位置也一起给出预测。每个位置都可以产生一个误差,这些误差共同训练同一组参数。这里并不是十七个位置各有一个独立模型。由于正确输入序列在训练时已知,同一层的多个位置可以一起计算;每一行仍然有自己的可见范围。我们在第五讲见过的“训练并行、生成逐步”,就在这里继续成立。训练目标已经排好了,下一步要问:预测得好不好,怎样变成能更新参数的数?
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,指出各位置新增的 p→Lᵢ 和 EOS;从金色的那一列接到下一页计分。
本页证据与条件
教学构造与教师参考;不是模型运行结果