仍然预测 token，SFT 改了什么？
H01/b0 · 把样本摆完整
本课堂 SFT 样本与回答 loss mask 设置；不同实现需核对模板和损失位置。
只根据材料概括比较结果。
0在本次相同设置下，A 方案用时 12 秒，B 方案 8 秒。实验没有测量内存占用。
0B 在本次测试中耗时更短；内存占用尚未比较。
1SFT
任务示范继续更新参数
普通推理中的 ICL
示例进入当次输入，参数不变
这就是一个完整SFT样本。指令要求只根据材料概括，输入仍是A十二秒、B八秒和未测内存，示范回答则是我们刚才给出的那句话。监督微调不是再加一个神秘组件，而是继续训练模型：看到这样的请求和材料时，应该怎样接出合适回答。
教师备课：指图与模拟问答
指图与推进 · 不朗读逐块指instruction、input、response，保持原文完整。
H01/b1 · 哪些位置计算损失
本课堂 SFT 样本与回答 loss mask 设置；不同实现需核对模板和损失位置。
只根据材料概括比较结果。
0在本次相同设置下，A 方案用时 12 秒，B 方案 8 秒。实验没有测量内存占用。
0B 在本次测试中耗时更短；内存占用尚未比较。
1SFT
任务示范继续更新参数
普通推理中的 ICL
示例进入当次输入，参数不变
屏幕把条件位置的loss mask设为零，把回答位置设为一，这是本课堂采用的教学设置。零不意味着输入没被计算；输入仍然决定回答位置的表示。我们用真实回答token给监督，再让梯度沿参与训练的计算传播，继续更新参数。与预训练相比，基础形式仍可以是预测下一个token，变化在于任务化数据、序列组织以及反复监督的回应。
教师备课：指图与模拟问答
指图与推进 · 不朗读显出loss mask与回答监督，再将梯度箭头送回参数。
H01/b2 · 与刚才的ICL并置
本课堂 SFT 样本与回答 loss mask 设置；不同实现需核对模板和损失位置。
只根据材料概括比较结果。
0在本次相同设置下，A 方案用时 12 秒，B 方案 8 秒。实验没有测量内存占用。
0B 在本次测试中耗时更短；内存占用尚未比较。
1SFT
任务示范继续更新参数
普通推理中的 ICL
示例进入当次输入，参数不变
现在与刚才的示例提示并置。ICL把海獭例子放进本次输入，参数不因这一轮普通推理更新；SFT则根据许多示范继续训练参数，使以后很多请求都使用新的计算方式。它不只是改语气，也可能学到知识，但训练样本怎么写、能否泛化，都需要独立评价。我们已经把续写、当次示例与助手训练连起来，接下来回到现实约束：模型和材料都可以增加，有限计算怎样分配，机器又怎样真的把它训练出来？
教师备课：指图与模拟问答
指图与推进 · 不朗读并置两条路径，转入固定计算预算的模型与数据分配。
补充推导、边界与来源
监督微调（SFT）把任务要求、输入材料和示范回答组织成训练样本。课堂样本仍使用A/B耗时材料，监督目标是“B在本次测试中耗时更短；内存占用尚未比较。”回答token的负对数概率可以构成训练损失，梯度继续更新模型参数。常见实现仅在回答部分计算监督损失；具体mask和聊天模板需与模型约定一致。
CS224N后训练课件p19–20还展示FLAN-T5的指代例：同一问题下，训练前输出复述和改写，训练后按选项给出(C)。这是公开课程示例，说明输出形式如何被任务训练塑造，不是本课运行结果，也不能以一个例子保证任意歧义句都被正确解决。
本页的loss mask采用明确的课堂设置：指令与材料提供条件，回答位置计算监督损失。它不是所有SFT实现必须相同的约定，真实系统需核对序列模板、参与损失的位置及可训练参数。损失虽只在回答位置计分，梯度仍可流经提供条件的计算，更新参与训练的模型参数。SFT可以培养任务行为，也可能学入知识，不能机械概括为只改风格、不改能力。
偏好模型、RLHF、DPO、可验证奖励与LoRA/QLoRA继续保留在后训练和适配主题的完整正文及可展开页面；默认课堂不连走这些算法。它们分别改变训练信号、优化方式或可训练参数范围，需要各自的评价与成本账本。
继续阅读完整过程：偏好评分模型、RLHF 策略更新、DPO、可验证奖励与组内比较、LoRA、QLoRA。另有后训练主题与适配主题，从这些阅读页均可回到当前课堂状态。
本页证据与条件
教学 SFT 样本与 loss mask；实现可采用不同细节