返回课堂

从当前问题继续读

先沿每组导读选择问题。入口下直接说明算例、图证和推导的内容；需要更完整的原图或另一种读法时，再展开相关材料。

从Transformer继续追问

从上一讲的Transformer出发，对齐训练目标、参数更新、规模规律与上下文示例，再说明记忆容量、内部证据和硬件执行三个问题如何会合。

承载与读取

用同一查询比较读回图样，再把干扰缩成可手算的两条关联。矩阵、随机容量曲线与指数权重分别解释怎样写入、怎样读取，以及这些计算为什么还不能代表真实模型已学会什么。

写进去了，为什么还可能用不上？

关联记忆把线索key与内容value成对保存。可以从读回标准、二维算例和随机容量指标三个角度继续理解。

完整图证、推导与相关原页

读 A 时，为什么 B 也出来了？

二维A/B装置把串扰变成可手算的结果：k_A=v_A=(1,0)，k_B=(0.6,0.8)，v_B=(0,1)。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

可以扩大空间，也可以改写入和读取

从固定的二维例子转到随机单位key/value，可以分开比较条目数与维度。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

同样大小的 W，可以把两条都读对

外积直接累加不是唯一写法。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

让弱匹配在汇总前少出力

此处回到原始key匹配分数[1,0.6]，不使用W*的输出。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

从已经发生的运算中，认出 MLP

匹配线索Kx、逐项非线性σ、组合内容Vᵀσ(Kx)，构成两层MLP的计算形式。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

指数拉开比例，softmax给出分配

二维A/B例固定β=4，原匹配分数[1,0.6]经指数成为[54.598,11.023]。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

同一实验里，读取规则改变了多少？

容量对照重新采用64维随机单位key/value、精确查询和β=8，不延续上一页二维β=4的算数。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

参数没变，这次可读的内容可以变

训练参数与当前状态都能排列成矩阵，但产生方式不同。以下材料展开本页的计算、图证或相关条件。

参数规则与本次K/V

沿X→投影→K/V看行数与内容变化，区分上下文使用、应用保留和参数学习。

完整图证、推导与相关原页

把结构上的可能性，交给真实训练检验

手工关联例建立了结构怎样承载与读取信息的可能性，不能单独证明真实训练会形成何种能力。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

视觉中的训练证据

从图像进入 Transformer 的接口，走到 ViT 的分类证据和 MAE 的遮挡重建。原图与评测说明把训练目标、参数更新、表示迁移和独立下游分数接成一条可核对的过程。

同一张照片，改变进入模型的方式

图像无需先翻译成文字才能进入Transformer。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

训练条件改变，同一对模型的排序也改变

ViT Figure3报告带标签预训练、ImageNet微调后的独立分类评价。先锁定同一对模型，再分开看排序变化与能识别的原因。

完整图证、推导与相关原页

模型预测在这里，目标也在这里

MAE重建示例由同一原始校车图产生输入和目标：模型收到39/196个可见patch，根据它们预测被遮位置的像素。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

误差更新参数，训练后的表示再转用

MAE预训练时，encoder处理可见patch，decoder结合其表示与mask占位预测像素；被遮位置的预测与原图目标形成loss，经反向传播更新参数。重点是分清训练时优化什么，换任务后保留什么、重新学习什么。

完整图证、推导与相关原页

同模型的收益，要连同额外训练一起读

MAE Table3在ImageNet-1K、224×224评价中比较两条路线。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

分数之外，网络内部在区分什么？

分类成绩回答表示是否有用，内部响应研究回答这些表示在区分什么。以下材料展开本页的计算、图证或相关条件。

完整图证、推导与相关原页

训练后的内部表示

猫与车的自然照片、训练过程中的固定单元和 Scar 的语言归因，提供不同层次的内部证据。新例预测与近失配继续检验解释的边界；原图、数值与局部因果结论各有明确对象。

猫和汽车，为什么会出现在一起？

MAE 的分类成绩说明表示对任务有用；要理解内部形成了什么，需要观察具体单元。这里换到 InceptionV1。作者选出的猫和汽车照片都会强烈激活同一个单元，它们的日常类别却不同。先保留“兼做两份工作”的猜想，再检查照片里的共同结构。

完整图证、推导与相关原页

全图类别不同，局部结构可能相通

猫和汽车的整体类别不同，但同一单元的响应可能来自较小的局部结构。先在原自然照片上定位，再放大同一片区域，最后加入台球桌和新干线，检验“尖形／V形”候选解释能否跨过类别。

完整图证、推导与相关原页

一个解释，能否接住两侧与两端？

一个候选解释如果只覆盖几个正例，仍然容易过宽。这里增加两类约束：同一单元的相反响应是否呈现相反结构；上下游连接是否与这个区分的形成和使用相符。自然例与优化图各自承担不同证据职责。

正负激活与最终贡献

用门控与读出例区分内部信号的符号和对答案的促进或抑制，避免把负侧理解成“不喜欢”。

完整图证、推导与相关原页

混合不是只看终点：沿训练看它怎样长出来

只看训练终点，很难知道几个响应类别怎样走到一起。真实 checkpoint 保留了同一坐标在训练中途的状态。本页按两行固定单元、三列时刻并排保留证据，观察田野相关响应如何延伸，以及两次训练的后期差异。

语言分枝的概念示意

iy、diy与do it yourself展示可相连的局部关系；这里没有语言训练录像，不能与视觉checkpoint混同。

罕见、误标与对抗输入

区分罕见输入的既有响应、错误标签训练造成的变化以及优化构造输入，避免把它们都叫异常。

原文训练显微镜

原作者提供的训练过程浏览器，可进一步查看不同层与单元的实际发展轨迹。

完整图证、推导与相关原页

能承载多少，与为什么共享

联想记忆问的是在指定规则和误差标准下能读回多少关联；Goodfire 的案例问的是训练后哪些响应共享一个机制、为什么共享。两个问题相关，但既不能用容量计算解释具体组织，也不能用几个机制案例推翻前面的条件化推导。

SAE字典与原生组件

比较字典视图和网络原有组件，说明重构误差、活动事件与解释对象为何不同。

完整图证、推导与相关原页

从一段文字，追到一个下一词

在 Qwen3-32B 的一个保存案例中，输入用“Pride Lands 中后来成为国王的幼狮的死敌”暗指 Scar。归因图追踪指定下一词位置；随后比较未删除、删除作品与狮子背景两组，以及同层同数量随机删除，检验这两组是否实际影响预测。

完整图证、推导与相关原页

把解释交出去，再测一个新输入

能解释旧例，还不等于能预测新例。Blind maximum 先把单元解释交给看不到原高激活样本的另一方，由它构造预期强响应的输入，再读取模型激活。本页沿 action 的一个原文实例，分开解释、预测和测量。

从解释到盲构造输入

完整记录action的原文句子、峰值token、15.0与18.4激活，以及信息隔离与未规定搜索预算的区别。

第二个新例与上游分束

软件支持团队例与宠物芯片分束展示中心命中之外的覆盖检查，区分不同单元和不同消融条件。

完整图证、推导与相关原页

句子很像，关系还一样吗？

现在换到另一个单元 L36/N15664，检查解释的边界。前页 action 单元是 L8/N5247；这里 spoken for 的候选含义是已经许诺归属、尚未交付。两个原文文本前缀保留相近题材，却分别说许诺小马归属与运输母马；相对激活的差异检验关系判断，而非仅识别“马”这个主题。

完整图证、推导与相关原页

“约九成”，究竟解释了什么？

局部研究和干预之后，才能回头读总体估计。约90%的对象是 Qwen3-32B 初步审查中的 neuron poles，即神经元响应的正侧或负侧；判断标准是一个主要工作及相关分枝。这个数字随激活阈值与工作划分粒度而变。

完整图证、推导与相关原页

把尚未解释的例子留在桌面上

一个尚未解释清楚的单元可以帮助检验总体判断的边界。InceptionV1 mixed5a:719 响应领结、蝴蝶和泳衣，也响应礼鞋、沙滩包与拖鞋。简单的“中间收窄”概括不能接住全部证据，剩余部分应继续作为研究问题。

完整图证、推导与相关原页

回到 MAE：表示怎样落成一轮计算？

把三个层次重新接在一起：记忆装置展示结构的承载与读取，MAE 独立评测检验训练收益，Goodfire 案例追踪内部区分与作用。接下来回到先前 MAE 的可见 patch 表示，让这些向量进入实际矩阵计算，讨论并行、存储与搬运。

完整图证、推导与相关原页

计算、存储与搬运

沿同一个输入矩阵看共享参数怎样处理多行，再区分图像与文字的合法读取范围。硬件示意追踪数据在显存、片上工作区和计算之间的传递，为训练与推理的成本建立位置感。

同一组表示，怎样变成可执行的运算？

刚才回到了 MAE 的可见图块和表示 X。现在保持对象不变，打开共享投影与层间依赖。 一批已知位置的表示可排成矩阵 X，共用投影 W 形成 XW。位置并行是计算的组织方式，attention、MLP 和后续层仍有先后依赖。图像与文字可共享这类算子接口；可读取的位置则由各自任务规定。

并行与因果读取

用 BOS / I / gave / him 的前缀—目标对照，分清数据已知与当前预测可见。

完整图证、推导与相关原页

一起计算，不等于工作量不再增长

多行共享 W 解释了并行的可能性。先借英文的一行确认合法读取，再用 4/8 位置计数隔离长度的影响。 文字预测可以成批处理已知位置，同时让每一行只读取合法前缀。完整位置表的大小是 n²，因果有效配对是 n(n+1)/2：4 个位置分别为 16 与 10，8 个位置分别为 64 与 36。参数不必增加，中间计算与状态却会增长。

完整图证、推导与相关原页

算得完、装得下、搬得动

长度影响了本次工作量。现在把表示和中间表放回设备，区分保存、计算与搬运。 显存保存大对象，片上工作区接收当前计算需要的数据。直接分阶段 attention 可以把 S、P 等完整中间表写回后再读；这使计算吞吐、容量与搬运带宽成为不同约束。后续分块执行改变的是保存与读写安排，仍需完成规定的读取目标。

完整图证、推导与相关原页

文本预训练

完整 A/B 记录怎样切成前缀和目标，目标概率怎样进入 loss，再怎样更新参数，是这一组的核心算例。随后用关系判断与真实 GPT-1 迁移结果区分任务要求和已测能力。

普通记录，怎样自己产生训练题？

语言建模把完整材料拆成“合法前缀”和“实际后续”。A/B记录的完整文本是训练资料；在某个位置做预测时，模型只读该位置及此前内容。后续单位用于计分，而不是提前出现在当前可见输入中。改变截断位置，同一段资料便产生另一道预测题。

文本预训练的完整过程

从材料构造监督，接到概率、损失、参数更新与能力评价，解释预测后续为什么既有用也有边界。

完整图证、推导与相关原页

一组参数，面对一排前缀与目标

本例把正文分成16个可读教学单位，令x₀为开始标记BOS，x₁到x₁₆为正文。输入位置i读取x₀到xᵢ，预测下一项；末尾正文位置预测结束标记EOS。第二个“用时”位于x₉，其目标是x₁₀=8。所有位置共用参数，因果遮罩分别限定每个位置的读取范围。

完整图证、推导与相关原页

把后词概率，变成一次参数更新

对当前实际目标8，单项损失可写为−ln pθ(8|前缀)。假设概率0.2与0.5分别对应约1.61与0.69的损失，说明评分规则偏好给实际后续更高概率。两张卡是独立对照。训练则要从一组参数完成前向、求损失、反向求梯度、优化器更新，再用新参数重新预测。

完整图证、推导与相关原页

只改一个词，关系判断为什么反过来？

在“The trophy would not fit in the suitcase because it was too big/small”这组教学对照中，对象和放入动作保持不变。big通常把原因连到奖杯过大，small通常把原因连到手提箱过小。要给出明确解释，就需要结合物体、容器及失败原因，而不能只按名词距离决定指代。

完整图证、推导与相关原页

目标相同，材料让模型反复遇到什么？

相同的语言建模目标可以作用在关系句、实验记录和代码上，但三类材料分别要求因果条件、数值对象对应和程序依赖。材料类别并不自动等于获得的能力。资料库存、抽样后的训练消费和重复次数也必须分开：未被抽到的材料不构成这轮训练经历，重复读取则重复消耗计算。

读GPT-3的训练材料表

对照完整Table2.2的语料规模、混合权重和近似epoch，分开“有多少独特材料”和“实际读过多少”。

完整图证、推导与相关原页

普通文本训练，能帮助另一项任务吗？

自然语言推断判断一条假设与给定前提的关系：受到支持、与前提冲突，或信息不足。A/B例子只用于解释这三类关系。真实证据来自GPT-1 Table5的MNLI消融：完整方案81.8，无预训练方案75.7，相差6.1个百分点；两条路线均使用下游监督，完整方案含辅助语言模型目标并额外使用预训练资源。

完整图证、推导与相关原页

当前示例与参数更新

当前请求加入 C/D 示例时，变化的是输入及其状态；SFT 则把期望回应变成更新参数的监督。逐位置序列、causal mask 与 loss mask 说明两个过程的具体差别，新事实测试检验模型是否依据材料作答。

给同一份 AB 请求加一个示例

上下文学习把任务示例放进当前输入。C/D示例示范“先给本次耗时结论，再保留未测项”的回应方式；A/B的12/8秒与未测内存仍是当前事实来源。该输入对照没有反向传播或优化器更新，图中回应是教师参考，不构成示例改善效果的实测。

完整图证、推导与相关原页

固定 W，改变 X，当前状态就会改变

在某一层，输入表示X经过训练得到的投影Wₖ和Wᵥ，生成本次K=XWₖ与V=XWᵥ。在当前问题前插入C/D示例，会增加输入位置，并改变后续位置的上下文表示。相同权重仍可产生不同状态和输出分布；这是前向计算，不需要本次优化器更新。

完整图证、推导与相关原页

示例有效吗？看独立的完整翻译评价

GPT-3 Table3.4报告同一175B模型在WMT’14英语到法语任务上的BLEU：zero-shot 25.2、one-shot 28.3、few-shot 32.6。评测仅前向、不更新模型参数。few-shot采用K=64的设置并受2048上下文窗口限制。该结果是指定翻译任务的证据，与A/B课堂构造例分开。

完整图证、推导与相关原页

把期望的回应方式写进训练样本

生成式指令SFT以请求、材料和期望回应组成监督样本，从已有预训练参数继续训练。通顺续文与完成任务的回应都可以通过逐token预测产生，差别在于当前条件下反复训练的期望行为。instruction、input、response表示职责；实际输入仍按模型模板连接为一条带角色边界的序列。

后训练的不同信号

区分示范监督、偏好比较与其他训练目标；SFT是其中一种，不把其他阶段收益统归SFT。

完整图证、推导与相关原页

可读取谁，与哪些目标计分，是两件事

预测首回应B时，合法前缀是完整prompt；预测后续“在”时，训练使用prompt加正确B作为前缀，这叫teacher forcing。本例采用response-only loss：回应目标计分，prompt目标不直接计分。因果mask控制读取范围，loss mask控制计分目标；prompt仍参与前向计算并影响回应损失的梯度。

完整图证、推导与相关原页

换事实，检验行为而非旧答案

新的独立教学记录把耗时改为A 7秒、B 11秒，未测内存与请求形式保持不变。正确参考因此变为A在本次测试中更快，内存仍不能比较。参数是否经过SFT与当前输入是否含示例是两个可以独立控制的条件；四格评价设计用于区分两者作用，尚不代表任何实测胜负。

完整图证、推导与相关原页

有限预算中的取舍

参数规模与实际消费的训练 token 共同占用计算预算。固定预算曲线给出分配过小或过大的代价；不同预算线上的谷底说明“最优”必须带着预算、数据和测量条件来理解。

固定预算，模型与训练量怎样取舍？

训练行为要支付计算成本。把模型规模与实际训练消费放进同一预算，才能比较配置选择。 在固定主要算术预算 C 下，近似关系 C≈6ND 把参数数量 N 与实际训练消费 D 联系起来。N 翻倍、D 减半保持近似预算，却不保证效果相同。库存、重复消费、算术量、墙钟时间和费用必须分别计量。

完整图证、推导与相关原页

沿一条真实预算线，看哪里用得更好

预算式只说明选择如何牵连。现在沿一条真实实验曲线比较配置，再观察增加总预算后的变化。 Chinchilla Figure 3 比较固定主要计算量下不同参数规模和训练消费的组合。单预算线两侧损失高于谷底附近，提示容量与受训程度需要共同配置；恢复多预算线后，必须区分分配变化与总投入变化。后续 8B 仅为显存教学配置。

完整图证、推导与相关原页

一次更新的设备现场

从一次梯度更新列出权重、梯度和优化器状态的保存责任，再比较四卡复制与分片。FlashAttention 的同一 Q/K/V 算例把问题缩到数据如何搬运，避免把分片状态和片上计算混成一件事。

16 GB 权重，为什么训练状态会更多？

配置选定之后，要回到一次真实更新的职责：哪些对象需要保留，它们各占多少字节？ 指定 8B 混合精度 Adam 账本包含 BF16 工作权重 16 GB、低精度梯度 16 GB、FP32 主权重 32 GB，以及各 32 GB 的 m/v。持久小计为 128 GB；激活、临时空间与通信缓冲另计，因此它不是运行峰值。

完整图证、推导与相关原页

分担数据，与分担保存责任，是两个动作

每卡存完整副本，还是共同保管状态片，会改变长期内存账；这与数据分工要分别说明。 复制式数据并行让四卡处理不同数据，却每卡保留完整状态。全状态分片可把指定持久小计从每卡 128 GB 降至 32 GB；当前层计算仍需临时取齐参数，反向梯度仍需共同归约，由所属片完成更新。节省长期冗余伴随通信与临时视图。

完整图证、推导与相关原页

相同的读取目标，能否少保存、少搬运？

分片处理了跨卡重复保存。回到同一张卡，保持 Q/K/V 与读取目标，比较完整中间表与逐块累计。 固定一个 Q 块，逐次处理所有允许的 K/V 块。每块计算后释放局部分数，保留可合并分子 u、分母 l 与稳定尺度 m；全部块完成后才输出 u/l。这样的执行减少完整 S/P 表写回与再读，不删除合法位置，也不消除稠密配对的二次算术。

完整图证、推导与相关原页

一个请求的执行

停止优化器后，固定参数仍要处理当前请求。Prefill、首 token 和后续 decode 的图解展示每层 K/V 的形成与追加，并分别计算长度与独立并发请求怎样增加缓存。

旧参数接收新请求，生成当前状态

训练更新停止以后，参数可以保留；每次请求需要的当前状态仍须计算或按兼容条件复用。 参数保存训练所得，K/V 保存特定请求在特定层的当前计算状态。prefill 处理已知提示并产生首分布，选择首 token 后进入逐步 decode。新位置读取允许的旧 K/V 与当前状态，将输出交给下一层，并把本层新 K/V 追加到缓存。训练见过同文，并不等于已有可直接复用的请求缓存。

完整图证、推导与相关原页

权重能共享，上下文状态仍要付成本

缓存减少重算，但每个请求仍要读取并保存当前状态。先算清量级，再分辨长输入、长输出与并发。 KV 本体估算为 M=2LTh_KVd_headb。指定配置每 token 为 128 KiB，8192 个已缓存 token 为 1 GiB，八份互不共享的同长请求为 8 GiB。长输入、长输出与并发分别增加不同工作，容量、首 token 等待和逐 token 延迟应分开判断。

完整图证、推导与相关原页

用新证据改变判断

回到 A/B 原回答，先分清输入中的事实、训练所得行为和系统执行。再加入新的峰值内存记录及约束，让候选、依据与选择同时可见，练习在证据改变时更新判断。

同一条回答的事实、本领与执行从哪里来？

执行约束解释了计算如何完成。现在回到具体回答，把当前事实、训练所得与执行过程对应到同一请求。 当前 A/B 输入提供 12 秒、8 秒和未测内存；训练参数提供语言、比较与回应能力；运行系统把参数与当前状态的计算实际完成。教师参考的范围、比较与未知项均可逐句回指材料。优化执行不会替代尚未进行的测量。

完整图证、推导与相关原页

新测量与新约束，真的改变选择

上一页只有耗时数据和未测内存。现在补入内存测量，再加入资源约束，检查同一回答怎样更新。 当前教学记录为 A12 秒/3 GiB、B8 秒/5 GiB。B 用时更短，A 峰值内存更低；施加峰值严格小于 4 GiB 的约束后，在两项候选中选 A。新测量补足事实，新约束改变选择，执行优化需新测试，不能改写已有证据。

完整图证、推导与相关原页

回收三问，继续验证

回到同一个读回装置、真实内部证据及A/B资源判断，说明当前结论的依据与边界，再留下满足内存限制且更快的新候选如何验证的问题。

把课堂问题带进实验

从 CLS 00 导航开始，或直接选择下方本册。具体课堂页的材料入口会注明活动节名；打开 Notebook 后找到同名小节。

打开第六讲 Deepnote 项目

LAB 03 保存真实轻量 RNN 的训练计算；LAB 04 保存 24 条真实小样本对照和独立的 6 条课堂诊断。原 192 请求材料是合成评分链路，不能当作 192 条真实模型结果。LAB 02 的原研究证据台用于审读保存图证，不重新测量原模型。