完整深入材料 · 保留原页与全部停点。回到相关主讲
输入不直接计分,为什么仍然必须计算?
N39/b0 · 按目标对齐loss mask
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
0在相同设置下,A用时12秒,B用时8秒。未测量内存。
0B在本次测试中耗时更短,内存尚未比较。
1本例:response-only loss · 右列 0/1 是各段目标权重
沿用同一条样本,这次选择 response-only loss,只对回应目标计分。右侧零和一汇总的是各段目标的损失权重:零表示该目标不直接计入这次损失,一表示计入。它管理评分表,没有删掉输入。否则连 A 和 B 的材料都不读,回应就失去条件。先从最容易错一格的首回应 B 看,计分究竟落在哪里。
教师备课:指图与模拟问答
指图与推进 · 不朗读读同一完整样本,指右侧 0/1;说明它们汇总的是各段目标权重,不是输入可见性。
N39/b1 · 首回应的预测位置
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
0在相同设置下,A用时12秒,B用时8秒。未测量内存。
0B在本次测试中耗时更短,内存尚未比较。
1本例:response-only loss · 右列 0/1 是各段目标权重
沿这一条箭头看:最后一个 prompt 位置的输出,对接下来的首回应 B 分配概率。B 是被预测的目标,所以它要计分。“输出来自 prompt 末位置”和“目标属于回应”同时成立。零和一跟目标走,不跟文本框的颜色走;如果只按输入位置机械遮掉一整段,就可能漏掉首回应这一项。下一拍保留这条任务关系,放大它怎样依赖输入计算。
进一步解释
对齐示意:shifted_logits = logits[:-1],shifted_labels = labels[1:]。prompt 目标权重 0,B 至 EOS 目标权重 1。最后一个 prompt 位置的 logits 预测 B,因此不能把首回应目标一并遮掉。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,沿“prompt末位置输出→预测B→目标B计分”的箭头;始终指向被预测目标。
N39/b2 · 输入参与前向和反向
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
0在相同设置下,A用时12秒,B用时8秒。未测量内存。
0B在本次测试中耗时更短,内存尚未比较。
1本例:response-only loss · 右列 0/1 是各段目标权重
先沿蓝色前向看:模型读取 prompt 表示,经过 attention 和后续计算,形成回应概率,再与回应目标计算损失。红色反向线沿这些计算依赖返回,汇集到产生表示和输出的共享参数 θ,优化器再把 θ 更新为 θ′。
输入样本中的十二和八不会被优化器改写;改变的是参数。输入没有独立计分,不等于输入没有计算,也不等于相关计算路径不能影响参数更新。现在先把“可读取谁”和“哪些目标计分”拆开核对。
进一步解释
红线表示反向依赖,不表示修改样本字符。prompt 相关表示参与前向,回应损失可以通过这些计算影响共享参数。某一条实际梯度是否非零还取决于具体计算,不能把“可能影响更新”说成每条路径都必然非零。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,先沿蓝色前向从 prompt 表示到回应损失,再沿红色梯度经共享计算到参数 θ;最后指优化器 θ→θ′。
N39/b3 · 区分两种mask与更新
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
0在相同设置下,A用时12秒,B用时8秒。未测量内存。
0B在本次测试中耗时更短,内存尚未比较。
1本例:response-only loss · 右列 0/1 是各段目标权重
现在把两件事并排放。左边因果 mask 管这一位置能够读取谁,蓝色区域对应合法前缀;右边 loss mask 管哪些目标拿来计分。prompt 目标为零,首回应 B、后续回应和必要结束标记为一。给回应预测时,前面的材料仍可被读取。
这是本例指定的 response-only 设置,并非所有 SFT 的唯一做法。根据选定目标汇总损失、反向传播并更新参数,才完成训练步骤。下一页换掉材料中的数字:如果仍然照抄 B 更快,就没有完成我们要检验的行为。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,让双 mask 成为主图;左图读可见范围,右图读目标权重,再指参数更新,结束后换新材料。
补充推导、边界与来源
本例明确采用response-only loss。loss mask对应被预测目标而不是直觉上的输入格:首回应B由最后一个prompt位置的logits预测,所以移位后该位置的标签B必须计分。若labels=[prompt₁,…,promptₘ,B,…,EOS],shifted_logits=logits[:-1],shifted_labels=labels[1:];prompt目标权重0,B至EOS目标权重1。直接损失为0不代表prompt不参与attention、不前向计算或其路径梯度为零。causal mask限制可读取位置;loss mask选择计分目标,两者职责不同。
来源与材料身份
- 原始入口:监督示范训练的一般方法;response-only mask为本课明确指定的实现算例,非声称该论文精确mask配置
本页证据与条件
本例采用response-only loss;并非声明原论文逐位mask配置