把期望的回应方式写进训练样本
本页问题
生成式指令SFT以请求、材料和期望回应组成监督样本，从已有预训练参数继续训练。通顺续文与完成任务的回应都可以通过逐token预测产生，差别在于当前条件下反复训练的期望行为。instruction、input、response表示职责；实际输入仍按模型模板连接为一条带角色边界的序列。
RC-A4/b0 · 撤去示例，保留请求
在相同设置下，A用时12秒，B用时8秒。未测量内存。
继续一篇文档
下一节将介绍实验装置与测量流程。
教学构造的接续回应用户任务
B在本次测试中耗时更短，内存尚未比较。
教学构造的期望回应撤去C/D示例，仍要求根据A/B材料用一句话回答，并保留未知。现在检查后续有没有完成请求。
进一步解释
“文字通顺”与“完成用户请求”是两个判断。仍使用相同A/B事实，只改变我们希望训练出的回应行为。
教师备课：指图与模拟问答
指图与推进 · 不朗读指完整请求和当前AB材料。
本态来源与条件
A/B请求与两种后续为教学构造；示范监督训练对应InstructGPT §3.1。
RC-A4/b1 · 两种后续都能逐token生成
在相同设置下，A用时12秒，B用时8秒。未测量内存。
继续一篇文档
下一节将介绍实验装置与测量流程。
教学构造的接续回应用户任务
B在本次测试中耗时更短，内存尚未比较。
教学构造的期望回应“下一节介绍实验装置”虽通顺，却没回答。期望回应同时满足比较、范围、未知与形式四项要求。两种后续是教学构造，不是模型实测。
进一步解释
期望回应逐项对应：8小于12、限定本次测试、保留未测内存、符合一句话要求。四项是可检查职责，并非实测增益。
教师备课：指图与模拟问答
指图与推进 · 不朗读比较两种后续，再指右侧四个核对点。
本态来源与条件
A/B请求与两种后续为教学构造；示范监督训练对应InstructGPT §3.1。
RC-A4/b2 · 把三种职责组成一个样本
请只根据材料，用一句话概括结果，并保留尚不能判断的部分。
在相同设置下，A用时12秒，B用时8秒。未测量内存。
B在本次测试中耗时更短，内存尚未比较。
完整指令 + 材料〈assistant〉
回应边界B ｜ 在 ｜ 本次测试中 ｜ 耗时更短 ｜ ， ｜ 内存 ｜ 尚未比较 ｜ 。 ｜ EOS
教学角色标记；prompt 包含指令、材料和回应边界
同一预测模型
随后：正确回应前缀 → 后续目标，直到 EOS
把请求、材料、期望回应分别记为instruction、input、response，用这类示范继续训练已有参数，就是监督微调SFT。目标仍是预测后续回应。
进一步解释
这里是生成式指令SFT：继续以token预测目标训练。它和GPT-1 MNLI页的判别任务微调共享“从预训练参数继续训练”的思想，但输出接口不同。SFT也不等于全部后训练。
教师备课：指图与模拟问答
指图与推进 · 不朗读从 instruction 请求、input 材料到 response 期望回应逐行指读；此态只解释训练样本的三种职责。
本态来源与条件
A/B请求与两种后续为教学构造；示范监督训练对应InstructGPT §3.1。
RC-A4/b3 · 连接序列，保留角色边界
请只根据材料，用一句话概括结果，并保留尚不能判断的部分。
在相同设置下，A用时12秒，B用时8秒。未测量内存。
B在本次测试中耗时更短，内存尚未比较。
完整指令 + 材料〈assistant〉
回应边界B ｜ 在 ｜ 本次测试中 ｜ 耗时更短 ｜ ， ｜ 内存 ｜ 尚未比较 ｜ 。 ｜ EOS
教学角色标记；prompt 包含指令、材料和回应边界
同一预测模型
随后：正确回应前缀 → 后续目标，直到 EOS
三部分连成序列：prompt含指令、材料和回应边界，之后是正确回应。角色标记是教学占位。下一页检查首回应B在哪里预测、在哪里计分。
进一步解释
instruction/input/response只是职责划分；〈user〉、〈assistant〉和当前切分为教学占位，不宣称适用于所有模型的精确chat template。
完整训练回应虽已知，每个预测位置仍只读合法前缀。该因果规则在下一页与目标是否计分的规则分开。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿prompt→回应边界→回应顺序，不提前解释下一态尚未显示的mask。
本态来源与条件
A/B请求与两种后续为教学构造；示范监督训练对应InstructGPT §3.1。
接下来
这条序列的哪些目标要计分？
补充推导、边界与来源
| 样本职责 | 本例内容 |
|---|---|
| Instruction | 只根据材料，用一句话概括结果并保留未知 |
| Input | A 12秒、B 8秒；未测内存 |
| Response | B在本次测试中耗时更短；内存尚未比较 |
三部分经模型适用的角色模板连成序列。SFT继续更新预训练参数；“通顺但未完成任务”的构造对照不是实际模型失败记录。
深入解释与来源
同样继续写 token，可以是在续文档，也可以是在回答
基础语言建模与任务回应共享预测后续token的接口。两种后续都是人为构造，不能把文档接续当作某基础模型的真实失败，也不说明基础模型绝不可能完成请求。任务化示范反复展示输入材料、请求和期望回应，SFT只是后训练的一部分；FLAN的任务指令化、InstructGPT的示范和偏好训练各有不同证据，不能把RLHF最终收益归因于单独SFT。
来源与材料身份
- 原始入口：§3.1 Step1：收集期望行为示范并监督训练；本例两种续写为教学构造
把刚才的请求和回答，变成一条 SFT 样本
instruction、input、response是本例为说明职责而列出的字段。工程中需采用模型对应的chat template，处理角色、分隔与结束标记。本例的标记只是教学占位。训练时以正确回应前缀预测后续，这是teacher forcing。此处是生成式指令SFT，与N32早期GPT判别任务使用分类头的微调不可混成同一输出接口。
来源与材料身份
- 原始入口：§3.1、§3.5 Supervised fine-tuning；本例AB样本和字段是教学构造，不宣称论文使用此样本
本页证据与条件
A/B请求与两种后续为教学构造；示范监督训练对应InstructGPT §3.1。