预训练、后续适配与使用，分别在改变什么？
本页问题
先区分两类变化：训练把什么留下来，当前输入又怎样影响这一次计算？
OV02/b0 · 训练改变参数；上下文改变当前输入。
训练支路是“数据与目标→优化更新→参数”；使用支路是“参数＋当前上下文→输出”。预训练与后续 SFT 都可以更新参数，但用途与训练材料不同；SFT 不是所有模型必经的固定阶段。常见 ICL 设置把任务说明与示例放入当前上下文，不在本次任务适应中更新模型参数。训练目标、投入规律与使用方式提供共同基础，本讲随后会深入它们背后的承载、证据与执行问题。
进一步解释
ICL 在这里指 GPT-3 论文所采用的无梯度任务适应设置。当前输入会改变中间表示、K/V 等状态和输出分布，“参数不更新”不等于“计算没有变化”。后续适配还有其他形式；本页只借 SFT 定位参数更新，Scaling Law 则用于研究投入关系，不是第三个训练阶段。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿两条支路分别指读，训练箭头明确落到参数；使用支路突出当前上下文与固定参数的不同位置。对照两条支路只讲一次，不把它们画成必经流水线。
本态来源与条件
训练／使用关系为课程示意；ICL 的无梯度设置核对 GPT-3 原论文。
接下来
训练时，文本本身可以怎样提供目标？
补充推导、边界与来源
再想一步
要判断改变会持续到哪里，先检查是否执行了参数更新。上下文中的示例还可能通过改变注意力读取和中间表示影响输出；这种当次计算变化与优化器更新参数有不同的持续范围。
从本页继续阅读
- 一份文本怎样产生训练信号：从原始材料、下一项目标到损失，展开一次训练过程。
- SFT 到底改变什么：用 prompt 与回应目标说明后续监督如何更新参数。
- GPT-3 的上下文适应设置：原论文图2.1和方法部分区分 zero-shot、one-shot 与 few-shot。
本页证据与条件
训练／使用关系为课程示意；ICL 的无梯度设置核对 GPT-3 原论文。