本页学习说明
生成式指令SFT以请求、材料和期望回应组成监督样本，从已有预训练参数继续训练。通顺续文与完成任务的回应都可以通过逐token预测产生，差别在于当前条件下反复训练的期望行为。instruction、input、response表示职责；实际输入仍按模型模板连接为一条带角色边界的序列。
| 样本职责 |
本例内容 |
| Instruction |
只根据材料，用一句话概括结果并保留未知 |
| Input |
A 12秒、B 8秒；未测内存 |
| Response |
B在本次测试中耗时更短；内存尚未比较 |
三部分经模型适用的角色模板连成序列。SFT继续更新预训练参数；“通顺但未完成任务”的构造对照不是实际模型失败记录。
深入解释与来源
同样继续写 token，可以是在续文档，也可以是在回答
基础语言建模与任务回应共享预测后续token的接口。两种后续都是人为构造，不能把文档接续当作某基础模型的真实失败，也不说明基础模型绝不可能完成请求。任务化示范反复展示输入材料、请求和期望回应，SFT只是后训练的一部分；FLAN的任务指令化、InstructGPT的示范和偏好训练各有不同证据，不能把RLHF最终收益归因于单独SFT。
来源与材料身份
- 原始入口：§3.1 Step1：收集期望行为示范并监督训练；本例两种续写为教学构造
把刚才的请求和回答，变成一条 SFT 样本
instruction、input、response是本例为说明职责而列出的字段。工程中需采用模型对应的chat template，处理角色、分隔与结束标记。本例的标记只是教学占位。训练时以正确回应前缀预测后续，这是teacher forcing。此处是生成式指令SFT，与N32早期GPT判别任务使用分类头的微调不可混成同一输出接口。
来源与材料身份
- 原始入口：§3.1、§3.5 Supervised fine-tuning；本例AB样本和字段是教学构造，不宣称论文使用此样本
阅读完整讲义