可读取谁，与哪些目标计分，是两件事
本页问题
预测首回应B时，合法前缀是完整prompt；预测后续“在”时，训练使用prompt加正确B作为前缀，这叫teacher forcing。本例采用response-only loss：回应目标计分，prompt目标不直接计分。因果mask控制读取范围，loss mask控制计分目标；prompt仍参与前向计算并影响回应损失的梯度。
RC-A5/b0 · 两个合法前缀—目标对
预测首回应B，前缀是完整prompt；预测“在”，前缀再加正确的B。训练用正确回应前缀，称为teacher forcing；推理接自己的生成继续。
进一步解释
Teacher forcing使用真实的历史回应token；自回归推理则使用自己此前生成的token。两者都保持前缀预测后续，不能据此取消因果约束。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指prompt→B，再指prompt+B→在，始终把目标放在独立一端。
本态来源与条件
A/B response-only SFT为明确指定的教学实现；一般示范监督训练对应InstructGPT §3.1。
RC-A5/b1 · loss mask 跟被预测目标走
本例只给回应目标计分。B由prompt末位置的输出预测，但B属于回应，权重仍是一。loss mask要跟目标走，不能漏掉首回应。
进一步解释
概念性移位写法：shifted_logits=logits[:-1]，shifted_labels=labels[1:]。应按移位后的目标选择mask：B至EOS权重1，prompt目标权重0。实现中的张量维度和框架接口可能不同，关键是对齐同一预测与目标。
教师备课：指图与模拟问答
指图与推进 · 不朗读从prompt末位置的logits，沿箭头指向首回应B，再核对目标权重1；不提前指下一态的prompt目标0。
本态来源与条件
A/B response-only SFT为明确指定的教学实现；一般示范监督训练对应InstructGPT §3.1。
RC-A5/b2 · 两种 mask 各自管理一件事
左边因果mask管可读取谁；右边loss mask管哪些目标计分：prompt目标零，B至EOS一。零不删除prompt，它仍参与前向计算。
进一步解释
prompt目标的loss权重为0，仅表示这些目标没有直接贡献该项损失。prompt仍参与形成回应所需的表示，包含12、8与未测内存等条件。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指左侧合法前缀，再指右侧目标0/1，不把两图重叠成同一种遮罩。
本态来源与条件
A/B response-only SFT为明确指定的教学实现；一般示范监督训练对应InstructGPT §3.1。
RC-A5/b3 · 仍要完成参数更新
回应概率产生loss，梯度沿共享计算回传，优化器把θ更新为θ′。输入文字不变，相关参数可以更新。response-only是本课选择，并非所有SFT唯一做法。
进一步解释
“输入文字不变”与“输入表示相关参数可训练”并不冲突。token身份不被优化器改写，embedding及其他未冻结参数仍可能通过回应损失获得梯度。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿前向蓝线、反向红线到θ→θ′；确认原输入保留。
本态来源与条件
A/B response-only SFT为明确指定的教学实现；一般示范监督训练对应InstructGPT §3.1。
接下来
换新材料，检验留下的是行为还是旧答案。
补充推导、边界与来源
| 控制项 | 问的问题 | 本例作用 |
|---|---|---|
| causal mask | 当前预测能读谁？ | 允许合法前缀，禁止未来输入 |
| loss mask | 哪些目标进入损失？ | prompt目标0；回应B至EOS目标1 |
首回应B由prompt末位置的logits预测，因此其目标权重为1。完整prompt→B、prompt+正确B→在，是两个连续的teacher-forcing前缀—目标对。
深入解释与来源
把刚才的请求和回答，变成一条 SFT 样本
instruction、input、response是本例为说明职责而列出的字段。工程中需采用模型对应的chat template，处理角色、分隔与结束标记。本例的标记只是教学占位。训练时以正确回应前缀预测后续，这是teacher forcing。此处是生成式指令SFT，与N32早期GPT判别任务使用分类头的微调不可混成同一输出接口。
来源与材料身份
- 原始入口：§3.1、§3.5 Supervised fine-tuning；本例AB样本和字段是教学构造，不宣称论文使用此样本
输入不直接计分，为什么仍然必须计算？
本例明确采用response-only loss。loss mask对应被预测目标而不是直觉上的输入格：首回应B由最后一个prompt位置的logits预测，所以移位后该位置的标签B必须计分。若labels=[prompt₁,…,promptₘ,B,…,EOS]，shifted_logits=logits[:-1]，shifted_labels=labels[1:]；prompt目标权重0，B至EOS目标权重1。直接损失为0不代表prompt不参与attention、不前向计算或其路径梯度为零。causal mask限制可读取位置；loss mask选择计分目标，两者职责不同。
来源与材料身份
- 原始入口：监督示范训练的一般方法；response-only mask为本课明确指定的实现算例，非声称该论文精确mask配置
本页证据与条件
A/B response-only SFT为明确指定的教学实现；一般示范监督训练对应InstructGPT §3.1。