返回课堂

一组参数,面对一排前缀与目标

本页问题

本例把正文分成16个可读教学单位,令x₀为开始标记BOS,x₁到x₁₆为正文。输入位置i读取x₀到xᵢ,预测下一项;末尾正文位置预测结束标记EOS。第二个“用时”位于x₉,其目标是x₁₀=8。所有位置共用参数,因果遮罩分别限定每个位置的读取范围。

RC-P2/b0 · 先认出整段单位

16个教学单位 · 用于输入与目标对齐1在相同设置下2,3A4用时5126秒7,8B9用时10811秒12。13未14测量15内存16。同一段记录:每个位置都能产生下一项目标
先认出整段单位

同一段记录被分成十六个方便读图的单位。这里的token是教学单位,真实分词器不一定这样切。金色的是第二个“用时”,它紧接B、后面是八。先认出这三个相邻对象;下一步只重排输入与目标,不更换材料。

教师备课:指图与模拟问答

指图与推进 · 不朗读指 16 单位整体和第二个用时;不逐格朗读。

本态来源与条件

指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。

RC-P2/b1 · 输入与下一目标对齐

每一输入位置,预测右边的下一项x0BOS在相同设置下x1在相同设置下,x2,Ax3A用时x4用时12x512秒x6秒,x7,Bx8B用时x9用时8x108秒x11秒。x12。未x13未测量x14测量内存x15内存。x16。EOS输入目标输入目标第二个“用时”是 x₉(第10输入列)→ 目标 8
输入与下一目标对齐

BOS是开始标记,它所在的位置预测第一单位“在相同设置下”。向后看,金色第二个“用时”记为x₉,它产生的预测要对照下一项x₁₀,也就是八。末尾句号对应的下一目标是结束标记EOS。因此两排各有十七格:上排是输入位置,下排是该位置应预测的后续,不能按相同文字把上下格直接配对。

进一步解释

索引从0开始:x₀=BOS;x₉是第二个“用时”,即把BOS计入后第10输入列。目标为x₁₀=8。x₁₆是正文末尾句号,其目标为EOS。

教师备课:指图与模拟问答

指图与推进 · 不朗读核对首列 BOS、金色 x₉→8、末尾 EOS 三处。

本态来源与条件

指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。

RC-P2/b2 · 只展开当前合法前缀

金色输入 x₉:只允许读取 x₀…x₉x0BOS在相同设置下x1在相同设置下,x2,Ax3A用时x4用时12x512秒x6秒,x7,Bx8B用时x9用时8x10不可读秒x11不可读。x12不可读未x13不可读测量x14不可读内存x15不可读。x16不可读EOS输入目标输入目标目标 8 在计分端;当前行仅读取 x₀…x₉
只展开当前合法前缀

现在固定金色x₉这一行。它允许读取x₀到x₉,包括已有的A十二秒和B用时;x₁₀以及更后面的输入不可读。目标八仍留在计分端。训练程序可以一次持有整段文字,却必须对每个预测位置分别执行这样的因果可见性规则,否则任务就变成把未来答案抄回来。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿 x₀…x₉ 指读;指未来区域“不可读”,再指独立目标 8。

本态来源与条件

指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。

RC-P2/b3 · 各位置共同计分

每一输入位置,预测右边的下一项x0BOS在相同设置下p → Lᵢx1在相同设置下,p → Lᵢx2,Ap → Lᵢx3A用时p → Lᵢx4用时12p → Lᵢx512秒p → Lᵢx6秒,p → Lᵢx7,Bp → Lᵢx8B用时p → Lᵢx9用时8p → Lᵢx108秒p → Lᵢx11秒。p → Lᵢx12。未p → Lᵢx13未测量p → Lᵢx14测量内存p → Lᵢx15内存。p → Lᵢx16。EOSp → Lᵢ输入目标输入目标共同计分:L = Σ Lᵢ | 共享参数 θ | EOS 也是目标
各位置共同计分

其他位置也各有自己的合法前缀、目标概率和损失Lᵢ。各项损失汇总后约束同一组参数θ,不是一列对应一台模型。同层的输入已知,可以批量计算;每行可读谁仍由因果规则决定。现在我们把十七项中的金色目标单独拿出来,追一次概率怎样变成可用于更新参数的数。

进一步解释

训练损失可以对选定位置求和或求均值,本页只表达多个位置共同训练共享参数。具体归一方式、padding目标和实现移位约定须一致。

教师备课:指图与模拟问答

指图与推进 · 不朗读指各位置新增的p→Lᵢ,说明它们汇总训练共享参数,再回到金色目标8;不把每列当作不同模型。

本态来源与条件

指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。

接下来

固定金色位置,追概率怎样变成损失与更新。

补充推导、边界与来源
输入位置 可读取的前缀 目标
x₀=BOS BOS x₁“在相同设置下”
x₉=第二个“用时” x₀…x₉ x₁₀=8
x₁₆=末尾句号 x₀…x₁₆ EOS

标签向后错开一项解决“预测谁”;因果mask解决“读取谁”。这两个设计不能互相替代。

深入解释与来源

同一段文字,给每个位置一个后续目标

本例采用16个可读教学单位,非真实tokenizer输出。记x₀=BOS,x₁…x₁₆为正文;输入位置i使用x₀…xᵢ,预测xᵢ₊₁(i=0…15);位置16预测EOS。因此上、下两行各有17项。第二个“用时”是x₉,也就是把BOS计为第1列后的第10输入列;对应目标为x₁₀=8。因果mask阻挡未来输入,不会把标签变成当前可读内容。各位置使用同一组参数,训练序列已知带来同层并行,并不取消每个位置的可见范围。

来源与材料身份

  • 原始入口:§3.1,物理第3页;因果decoder说明见同节
  • 原始入口:L5已知输入并行与右移标签基线;当前16单位切分为教学构造
本页证据与条件

指定16单位的教学切分;因果语言建模目标对应GPT-1 §3.1。

进入主题正文