# 预训练：普通材料怎样形成可复用能力

课堂先用视觉任务说明训练目标如何从原始材料中产生，再转向文本。本篇从 token 监督一路解释到物体关系、数据选择与迁移评价；数据配方、GPT-1 消融和 Goodfire 观察链都保留在这里。

预训练首先是一个可以计算的学习过程。给定模型参数、文本序列和目标，我们能算出模型当前预测有多好，再通过优化更新参数。它的规模可以很大，但基本因果链并不因此改变：材料限定训练经历，目标定义误差，优化把这些约束作用到参数，最后用独立任务检查得到什么能力。

<a id="next-token"></a>
## 从完整文本到一次参数更新

沿用开场的普通记录：“在相同设置下，A用时12秒，B用时8秒。未测量内存。”给定前缀“在相同设置下，A用时12秒，B用时”，原文实际出现的“8”就提供一个监督目标；前缀到“未测量”时，后续目标是“内存”。这里还没有用户指令和示范回答。

为把右移关系看清，N25指定16个教学单位：[在相同设置下][，][A][用时][12][秒][，][B][用时][8][秒][。][未][测量][内存][。]。这不是实际分词器输出。令 x₀=BOS，x₁…x₁₆为这些单位；输入为 BOS 加16单位，目标为16单位加 EOS，共17列。位置 i 只使用 x₀…xᵢ，目标是下一单位；最后一列以句号为当前输入、以 EOS 为目标。

| 列（BOS计为第1列） | 当前输入 | 预测目标 |
|---|---|---|
| 1 | BOS | 在相同设置下 |
| 2 | 在相同设置下 | ， |
| 3 | ， | A |
| 4 | A | 用时 |
| 5 | 用时 | 12 |
| 6 | 12 | 秒 |
| 7 | 秒 | ， |
| 8 | ， | B |
| 9 | B | 用时 |
| 10 | 用时 | 8 |
| 11 | 8 | 秒 |
| 12 | 秒 | 。 |
| 13 | 。 | 未 |
| 14 | 未 | 测量 |
| 15 | 测量 | 内存 |
| 16 | 内存 | 。 |
| 17 | 。 | EOS |

第10列输入位置对应 x₉，即第二个“用时”，目标 x₁₀是8。完整原文可以在资料区展示，当前模型位置却不能读取标签8及其后输入；因果遮挡负责这条界线。自回归语言模型使用前缀预测后续，常见目标为

$$
L(\theta)=-\sum_t\log p_\theta(x_t\mid x_{<t}).
$$

模型给真实目标的概率若为0.2，这一项损失约为1.609；若为0.5，损失约为0.693。这里的数值是假设，不是运行结果；0.5不被画成一次更新后必然达到的结果。损失不只检查最后猜出的一个词是否正确，它利用模型分配给目标的概率，提供更细的训练信号。反向传播计算损失对参数的梯度，优化器依据梯度更新参数。模型不会直接保存一张“每种前缀对应唯一答案”的表；不同文本共同约束同一套数值。一次更新也不保证所有位置都改善，因为批次里可能有不同甚至冲突的方向。

大量位置可以在因果遮罩下并行计算训练损失：每个位置只读取允许的前缀，但真实序列已经给全。这个并行训练条件与生成时未来token尚未知不同。分词器把文字、标点和代码转换成离散token；一个token不一定对应一个完整汉字或单词，比较数据量时必须保留分词口径。

GPT类自回归目标使用已有前缀；BERT类目标利用两侧可见内容恢复被遮住的位置；T5类目标从被破坏文本生成缺失片段。它们都让文本产生训练约束，但可见信息、结构与目标不相同。不能因为都叫预训练，就把任一种模型直接当作同样的生成接口。

<a id="commonsense"></a>
## 简单的预测接口，可能需要不简单的关系

教学改写句“The trophy would not fit in the suitcase because it was too big.”说奖杯无法放入手提箱，因为奖杯太大。只将最后的 big 换成 small，合理关系就变为手提箱太小。为明确指代，中文可分别表达为“奖杯太大，放不进手提箱”和“手提箱太小，装不下奖杯”；保留“它”的直译不因此天然错误。

在完整英文之后继续写“这句话中，太大的是——”，教师参考续写为“奖杯”；完整 small 句后的“太小的是——”，参考为“手提箱”。预测发生在完整前文之后，因此可利用 big/small，不能把未来信息偷放到此前生成 it 的位置。这个例子说明预测与翻译可能需要物体和容器之间的关系，不是某个模型成功或失败的运行记录。

seq2seq 是任务与建模形式，自回归输出也不排斥上下文或常识。双语监督能学到许多关系，但覆盖有限；大规模预训练使模型接触更多单语、事实和代码材料，为迁移提供条件。低预测损失仍不保证可靠的事实判断，更不意味着常识足够后所有翻译都会正确。

<a id="data-mixture"></a>
## 同一目标背后的材料选择

“预测token”并不意味着所有材料提供同样的学习机会。自然语言叙述表达关系和限定条件，结构化数据突出字段与值，代码同时受到语法和程序结构约束。将A耗时12秒、B耗时8秒写成文字、JSON或变量比较，会让模型接触不同形式的关系。模型可能因此形成可复用计算，但仅由材料形式不能保证会学到哪些能力。

GPT-3的Table 2.2把三个常被混淆的量分开：数据库存、混合权重和在训练300B token时约消费的轮数。

| 数据集 | 库存token | 混合权重 | 约消费轮数 |
|---|---:|---:|---:|
| Common Crawl（过滤） | 410B | 60% | 0.44 |
| WebText2 | 19B | 22% | 2.9 |
| Books1 | 12B | 8% | 1.9 |
| Books2 | 55B | 8% | 0.43 |
| Wikipedia | 3B | 3% | 3.4 |

这些是论文舍入值，权重合计101%；不能擅改一项凑成100%，也不能拿舍入数字反算后替换成新的“精确轮数”。大库可能只被消费一部分，小库可能重复多轮。重复读取计入训练消费量，却不等于增加同等数量的独特知识。筛选、去重、配比与独立评价因此是训练的一部分。特别是评价集与训练材料重复时，成绩可能混入记忆和污染，不能只凭高分认定泛化。

<a id="transfer"></a>
## 怎样知道训练所得可以迁移

自然语言推断任务MNLI要求读前提和假设，判断蕴含、矛盾或关系未定。N31继续使用教学前提“在相同设置下，A用时12秒，B用时8秒。本次未测量内存。”假设“本次测试中B比A耗时更短”受支持，属于蕴含；“本次测试中A比B耗时更短”与前提矛盾；“B的内存占用更少”则无法从前提判断，属于中立。未测内存也不等于内存相等。这些句对用于认清任务，不冒充 MNLI 原题或模型预测。GPT-1先做语言模型预训练，再用带标签任务数据和分类输出头适配；这是监督迁移，不是 zero-shot。原论文Table 5的MNLI列中，完整模型为81.8，去预训练为75.7，差6.1个百分点。它支持这个设置中的迁移价值；完整模型也付出了额外预训练计算，因而不是总计算严格匹配的比较，更不能将6.1点当作任何任务的通用收益。

可复用表示也不限于聊天输出。模型产生的词或序列表示可以服务分类、检索、相似性比较等任务。表示随上下文变化，意味着同一个词在不同句子里不必拥有相同状态。不过，把高维表示投影成二维图只是一种观察工具；距离与聚类会受降维方法影响，不能把图上相邻直接当成已验证的语义或因果机制。

<a id="goodfire"></a>
## Goodfire：从类别困惑到局部形状的五步检查

Goodfire对视觉网络InceptionV1的4e:55单元展示了一个完整解释过程。猫脸和车头属于不同物体类别，但作者标定的响应局部、上游输入与下游读取，以及尖形正响应和圆形负响应，共同支持V形结构的解释。上游包括狐狸吻部、狼脸、车头相关单元；下游包括火焰或喷流、郊狼脸、马提尼杯等不同对象中的尖形结构。这里使用作者提供的图像和连接，不把人工圈出的照片轮廓冒充神经元热图。

观察顺序是：先并置猫脸与车头，辨认类别解释的不足；再看作者标定的高响应局部；加入优化得到的特征可视化；沿上游输入与下游读取检查共享结构；最后加入尖形正响应与圆形负响应，约束“V 形”解释。每一步新增的是一种证据，不是给同一张照片多画一个圈。

特征可视化图是为激活目标而优化出来的合成图，与自然输入照片有不同身份。局部响应、连接与反向对照增加解释约束，但本课没有据此声称完成新因果干预。最有价值的启发是，中间特征未必沿人类物体类别命名；它可能在多种对象中复用。这个视觉案例不证明语言模型每个概念都有单个对应神经元，也不是整个网络可解释性已经解决。

预训练的目标与材料提供能力形成的条件，迁移评价和内部分析分别检验外部表现与内部机制。接下来先观察模型怎样借当次示例接住一项任务，再看 SFT 怎样把期望回应组织成反复训练的样本。相关比较见 [承载与上下文](context-memory.html#icl-example) 和 [后训练](posttraining.html#sft)。

## 来源与课堂定位

- [GPT-1原论文](https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf)：Table 5的MNLI消融（[N31任务](../classroom/N31.html?step=b0)、[N32成绩](../classroom/N32.html?step=b0)）。
- [GPT-3论文](https://arxiv.org/abs/2005.14165)：Table 2.2数据混合（[N30说明](../classroom/N30.html?step=b0)）。
- [Goodfire原始研究页面](https://already-clean.goodfire.com/)：Cars and Animals，4e:55（[N07说明入口](../classroom/N07.html?step=b0)、[完整五步阅读](../pages/P05.html)）。
- 已归档A07《CS224N预训练》支撑文本目标；A01应用全图、A02上下文表示材料用于重写开场和表示说明。本课采用部分均在来源映射中定位。


## 把这个问题带进实验

打开对应 Notebook 后，找到下列同名小节。各本的准备说明、已有输出和证据边界保留在本册中。

- [LAB 03 · T1 · 完整材料怎样产生多个预测目标？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-06-2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/LAB-03-9280cd5ad74c43cba2c65cd705ff8dd6?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=9280cd5ad74c43cba2c65cd705ff8dd6&utm_term=get_notebook)
- [LAB 03 · T2 · 一次 backward 和优化器步，究竟改变了什么？](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-06-2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/LAB-03-9280cd5ad74c43cba2c65cd705ff8dd6?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=9280cd5ad74c43cba2c65cd705ff8dd6&utm_term=get_notebook)
- [LAB 03 · T3 · 预算相同，只改变反复出现的材料](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-06-2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/LAB-03-9280cd5ad74c43cba2c65cd705ff8dd6?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=9280cd5ad74c43cba2c65cd705ff8dd6&utm_term=get_notebook)
- [LAB 06 · R1 · 固定计算预算，改变模型与训练量](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/Fall-26-Lecture-06-2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/LAB-06-56ea4de667c74a84a7be00689c8de2d9?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=56ea4de667c74a84a7be00689c8de2d9&utm_term=get_notebook)

[查看全部实验与课堂页对应](../labs/index.html)