完整深入材料 · 保留原页与全部停点。回到相关主讲
把刚才的请求和回答,变成一条 SFT 样本
N38/b0 · 一条完整SFT样本
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
在相同设置下,A用时12秒,B用时8秒。未测量内存。
B在本次测试中耗时更短,内存尚未比较。
完整指令 + 材料〈assistant〉
回应边界B | 在 | 本次测试中 | 耗时更短 | , | 内存 | 尚未比较 | 。 | EOS
角色与切分均为教学占位;完整 prompt=指令 + 材料 + 回应边界。
同一预测模型
随后:正确回应前缀 → 后续目标,直到 EOS
这三行仍是刚才同一个任务。Instruction 规定做什么,Input 给材料,Response 给期望回应。它不是另外一份知识问答:我们要求模型读取眼前的十二和八,还要守住没有测内存的边界。监督微调从已有预训练参数继续,用这样的样本练习完成任务的方式。这里分行是为了看清职责,实际计算仍要把内容组织成序列。
教师备课:指图与模拟问答
指图与推进 · 不朗读指三行完整样本:任务、材料、期望回应;说明从已有预训练参数继续。
N38/b1 · 连接为训练序列
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
在相同设置下,A用时12秒,B用时8秒。未测量内存。
B在本次测试中耗时更短,内存尚未比较。
完整指令 + 材料〈assistant〉
回应边界B | 在 | 本次测试中 | 耗时更短 | , | 内存 | 尚未比较 | 。 | EOS
角色与切分均为教学占位;完整 prompt=指令 + 材料 + 回应边界。
同一预测模型
随后:正确回应前缀 → 后续目标,直到 EOS
看下面这条序列:前面是用户指令和材料,后面是回应。两个角色标记帮助定位边界;它们是教学占位,不是某个模型真实模板的照抄。上面三行内容仍然保留,现在我们看的是把这些内容依次接起来。整段训练资料已知,不等于一个预测位置能读到自己的目标。下一拍把前缀和目标单独对齐。
进一步解释
实际工程采用模型对应的 chat template,角色、分隔符、特殊 token 与结束标记需要一致。这里的〈user〉/〈assistant〉仅是边界占位,避免误认为一种通用固定模板。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,沿下方序列指用户段、回应边界与完整回应;此时只解释序列与边界。
N38/b2 · 两个合法前缀—目标对
请只根据材料,用一句话概括结果,并保留尚不能判断的部分。
在相同设置下,A用时12秒,B用时8秒。未测量内存。
B在本次测试中耗时更短,内存尚未比较。
完整指令 + 材料〈assistant〉
回应边界B | 在 | 本次测试中 | 耗时更短 | , | 内存 | 尚未比较 | 。 | EOS
角色与切分均为教学占位;完整 prompt=指令 + 材料 + 回应边界。
同一预测模型
随后:正确回应前缀 → 后续目标,直到 EOS
先看第一对:模型已经收到完整 prompt,要对回答第一个位置分配概率,目标是 B。再看第二对:合法前缀已经包含完整 prompt 加上正确的 B,目标才轮到“在”。后面继续使用正确回应前缀预测下一项,直到结束标记;这里只用两个可读的教学单位展示关系,并不声称真实 tokenizer 恰好这样切。
训练中使用正确前缀,叫 teacher forcing;推理时则沿自己生成的内容继续。这里与普通文本预训练共享按前缀预测后续的接口,换的是任务与示范的组织方式。大量不同样本让模型反复练习在特定要求下回应,一条样本本身不足以证明可靠性。下一页沿着同一条序列问:我们给哪些预测目标计分?
进一步解释
这里讲生成式指令 SFT 的后词监督;N32 早期 GPT 的 MNLI 判别任务可使用分类头微调。二者都更新参数,但不能据此把输出接口混为同一种实现。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,依次指“完整prompt→B”和“完整prompt+B→在”两个前缀—目标对,再指后续到 EOS;不声称逐词动画。
补充推导、边界与来源
instruction、input、response是本例为说明职责而列出的字段。工程中需采用模型对应的chat template,处理角色、分隔与结束标记。本页的标记只是教学占位。训练时以正确回应前缀预测后续,这是teacher forcing。此处是生成式指令SFT,与N32早期GPT判别任务使用分类头的微调不可混成同一输出接口。
来源与材料身份
- 原始入口:§3.1、§3.5 Supervised fine-tuning;本页AB样本和字段是教学构造,不宣称论文使用此样本
本页证据与条件
教学构造与教师参考;不是模型运行结果