一组参数,面对一排前缀与目标
本页问题
本例把正文分成16个可读教学单位,令x₀为开始标记BOS,x₁到x₁₆为正文。输入位置i读取x₀到xᵢ,预测下一项;末尾正文位置预测结束标记EOS。第二个“用时”位于x₉,其目标是x₁₀=8。所有位置共用参数,因果遮罩分别限定每个位置的读取范围。
RC-P2/b0 · 先认出整段单位
同一段记录被分成十六个方便读图的单位。这里的token是教学单位,真实分词器不一定这样切。金色的是第二个“用时”,它紧接B、后面是八。先认出这三个相邻对象;下一步只重排输入与目标,不更换材料。
教师备课:指图与模拟问答
指图与推进 · 不朗读指 16 单位整体和第二个用时;不逐格朗读。
本态来源与条件
指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。
RC-P2/b1 · 输入与下一目标对齐
BOS是开始标记,它所在的位置预测第一单位“在相同设置下”。向后看,金色第二个“用时”记为x₉,它产生的预测要对照下一项x₁₀,也就是八。末尾句号对应的下一目标是结束标记EOS。因此两排各有十七格:上排是输入位置,下排是该位置应预测的后续,不能按相同文字把上下格直接配对。
进一步解释
索引从0开始:x₀=BOS;x₉是第二个“用时”,即把BOS计入后第10输入列。目标为x₁₀=8。x₁₆是正文末尾句号,其目标为EOS。
教师备课:指图与模拟问答
指图与推进 · 不朗读核对首列 BOS、金色 x₉→8、末尾 EOS 三处。
本态来源与条件
指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。
RC-P2/b2 · 只展开当前合法前缀
现在固定金色x₉这一行。它允许读取x₀到x₉,包括已有的A十二秒和B用时;x₁₀以及更后面的输入不可读。目标八仍留在计分端。训练程序可以一次持有整段文字,却必须对每个预测位置分别执行这样的因果可见性规则,否则任务就变成把未来答案抄回来。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿 x₀…x₉ 指读;指未来区域“不可读”,再指独立目标 8。
本态来源与条件
指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。
RC-P2/b3 · 各位置共同计分
其他位置也各有自己的合法前缀、目标概率和损失Lᵢ。各项损失汇总后约束同一组参数θ,不是一列对应一台模型。同层的输入已知,可以批量计算;每行可读谁仍由因果规则决定。现在我们把十七项中的金色目标单独拿出来,追一次概率怎样变成可用于更新参数的数。
进一步解释
训练损失可以对选定位置求和或求均值,本页只表达多个位置共同训练共享参数。具体归一方式、padding目标和实现移位约定须一致。
教师备课:指图与模拟问答
指图与推进 · 不朗读指各位置新增的p→Lᵢ,说明它们汇总训练共享参数,再回到金色目标8;不把每列当作不同模型。
本态来源与条件
指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。
接下来
固定金色位置,追概率怎样变成损失与更新。
补充推导、边界与来源
| 输入位置 | 可读取的前缀 | 目标 |
|---|---|---|
| x₀=BOS | BOS | x₁“在相同设置下” |
| x₉=第二个“用时” | x₀…x₉ | x₁₀=8 |
| x₁₆=末尾句号 | x₀…x₁₆ | EOS |
标签向后错开一项解决“预测谁”;因果mask解决“读取谁”。这两个设计不能互相替代。
深入解释与来源
同一段文字,给每个位置一个后续目标
本例采用16个可读教学单位,非真实tokenizer输出。记x₀=BOS,x₁…x₁₆为正文;输入位置i使用x₀…xᵢ,预测xᵢ₊₁(i=0…15);位置16预测EOS。因此上、下两行各有17项。第二个“用时”是x₉,也就是把BOS计为第1列后的第10输入列;对应目标为x₁₀=8。因果mask阻挡未来输入,不会把标签变成当前可读内容。各位置使用同一组参数,训练序列已知带来同层并行,并不取消每个位置的可见范围。
来源与材料身份
本页证据与条件
指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。