预训练、规模扩展与上下文学习
上一讲，我们追踪了一段输入怎样经过 Transformer，成为逐步生成的输出。这一讲换一个问题看同一套结构：当训练材料扩展到很大规模，它怎样承载可复用的信息，怎样读出这一次需要的内容，又怎样成为能响应用户要求的助手？
本课贯穿一份教学构造的请求：“请只根据材料，用一句话概括结果，并保留尚不能判断的部分。”材料是“在相同设置下，A用时12秒，B用时8秒。未测量内存。”本次数字来自当前材料，读懂、比较和组织回应的本领依赖训练。后面每次回到这份记录，都会明确正在改变输入、训练目标还是执行安排。
理解这件事需要三种证据。小算例能让我们看清机制；论文实验检验扩大投入之后是否真的受益；训练和推理系统说明这些运算怎样在设备上完成。三者互相连接，但任何一种都不能替另外两种完成论证。
装得下，还要取得到
这一节从两个角度理解能力：结构是否给出了足够的承载与读取空间，以及训练是否能用合适材料把这种可能性兑现。后者需要实验，不能仅由结构算例推出。
先固定一个查询，从不断增多的随机关联中读回同一张 8×8 的 T 图样。图样对应64维 value；同一批 key/value 的前缀逐步扩为1、16、64、256条，查询、灰度范围和目标都不变。读出中的干扰与目标贡献之比分别为0、0.455、1.039、2.142。图没有做后期模糊，视觉变化来自实际的向量计算。
为了看清干扰从哪里来，再缩小到可以手算的两条关联。本段统一使用列向量：k₁=(1,0)ᵀ、k₂=(0.6,0.8)ᵀ，v₁=(1,0)ᵀ、v₂=(0,1)ᵀ。外积写入 W=Σᵢvᵢkᵢᵀ，得到 W=[[1,0],[0.6,0.8]]。查询 q=k₁ 时，Wq=(1,0.6)ᵀ：目标贡献是v₁，另一条留下0.6v₂。正负匹配分数都可以产生干扰，不能把线性分数叫作概率。
在随机单位向量、精确查询与独立零均值 value 的设定下，外积写入的理论 RMS 比为 √((M−1)/dₖ)。这是本课独立复算的统计口径，与原博客先对查询取中位数、再跨种子平均的采样统计不同。图中的 R=1 是干扰达到目标贡献大小的约定阈值，不能解释为所有事实都能可靠回忆。
先改善写入：本例 W*=[[1,−0.75],[0,1.25]] 能同时准确读回两个 value。一般情况下，M≤dₖ 且 key 线性独立时可以精确恢复；过载后只能折中。最优线性写入的各向同性近似为 R≈√(M/dₖ−1)，实际目标项系数约为dₖ/M，不再固定为1。dₖ=64时，精确恢复的边界64与 R≈1 的边界128是两件事。
再改善读取：把各条key与value分别按行放进K与V，显式保存每一项，以 Vᵀφ(Kq) 读取。它与两层MLP的形式相连。两条正分数(1,0.6)经过ReLU仍为(1,0.6)，平方ReLU才变成(1,0.36)。对随机单位球面数据，用同一理论 RMS 标准比较，dₖ=64时线性、ReLU、平方ReLU、立方ReLU的 R=1 阈值约为65、129、2817、38299。这里M增大也增加显式K/V存储，不能称为固定参数预算下的同等容量竞赛。
指数响应进一步改变相对权重。二维算例使用β=4，非目标/目标响应比为exp(−1.6)≈0.202；归一化后softmax权重为(0.832,0.168)。标准行向量attention写成softmax(QKᵀ/√dₖ)V。本课64维曲线使用β=8，与二维例分开标明；低阶指数截断还可能产生负响应，不能当成概率。
“百万级”只指这一理想随机向量检索设定：dₖ=dᵥ=64、精确查询、独立随机key/value、β=8、显式保存随M增长的K/V、以R=1为阈值。球面积分约为127万，高斯近似约为120万。它不是64维语言模型可记住百万条真实知识的结论，也不是普通重建误差。查询受扰、语义关联和有限数值精度都会改变结果。按长度增加锐度的有限区间曲线，同样不证明真实上下文无限。
回到Transformer：MLP的权重来自训练，attention的当前K/V由当前输入经过已训练的投影生成。参数固定不妨碍新输入产生新K/V；单次请求中的12秒和8秒也不会自动写入模型参数。应用保存对话、服务器复用缓存、继续训练是不同途径。结构给出了承载与读取的可能性，下一段将用视觉实验检验训练如何兑现它。
完整逐态推导、实验条件、来源与复算脚本见关联记忆、容量与读取。旧三卡教学例仍保留于历史承载与读取正文，其数值不与本节两卡例混用。
先看视觉：扩大训练后，赢家可能改变
图像可以被分成 patch，每块转换成向量，再作为一个序列交给 Transformer。我们只借此把上一讲的序列计算接到图像，不重新推导完整 ViT 架构。
ViT 原论文 Figure 3 比较 ImageNet、ImageNet-21k、JFT-300M 等不同预训练数据集下的表现。这组实验先做带标签分类预训练，再到 ImageNet 目标任务带标签微调和评价；预训练是流程位置，本身不等于自监督。先看 ImageNet 一列，再看 JFT-300M 一列，卷积基线与 ViT 的相对位置、大小 ViT 的收益都会随训练条件改变。由小数据实验选出的架构，未必在扩大训练后仍然最合适。横轴是真实数据集名称：数据数量和组成同时变化，不能把它画成只增加数量的纯控制实验。论文另有 JFT 随机子集和计算对照，用于进一步拆分这些问题。
规模化还需要可持续的学习信号。MAE 的校车例把图像遮住大部分，再让模型重建缺失内容，原图自己提供目标。课堂采用 Figure 2 的展示条件：80% 遮挡，196 个 patch 中可见 39 个；不是常见方法示意中的 75%。展示顺序为遮挡输入、模型重建、原图。重建保留误差，不将原图可见块贴回输出来美化结果。
重建训练完成后，丢弃重建decoder，保留encoder。分类时将完整图片的全部patch输入这个encoder，接分类头、用带标签训练集微调，再到独立验证集评价。这条迁移路径把“补图”接到“分类”，准确率测的不是重建图像是否好看。
MAE Table 3 给出另一个完整比较：同为 ImageNet-1K、224 分辨率，监督从头训练的 ViT-B/L/H 准确率为 82.3/82.6/83.1；MAE 预训练后微调为 83.6/85.9/86.9。更大模型在不同训练安排下兑现的收益不同。两组使用同一图片池，但 MAE 增加了 1600 epoch 预训练，不是等计算比较；87.8 属于 ViT-H 在 448 分辨率的另一结果，不放进这张表。
这些证据支持“选架构和模型大小，要看任务与扩展后的训练条件”。它们不证明 CNN 本质不能扩展，现代卷积结构和训练配方也能提高表现；也不直接测定 attention 的记忆容量。原图、完整条件和 ConvNeXt 的反证说明见 视觉中的规模扩展。
并行友好，为什么仍然昂贵
训练时一整段 token 已知，同一算子可以把许多位置组织成大矩阵，利用并行硬件。因果 mask 保证每个位置仍只读取允许的前缀；attention、后续 MLP 与下一层之间的依赖还在。这里的并行不是所有层同时完成，更不是未来输出也同时已知。
序列变长时，query 与 key 的两两比较关系组成更大的方格。数据还要在大容量显存、较小的片上存储和计算单元之间流动。因此能利用大矩阵，只回答了“怎样组织运算”的一部分，计算量、保存空间和搬运数据仍是三个独立约束。MAE 让大编码器只处理可见 patch，也可从减少工作量的角度理解；它与校车重建图的具体遮挡展示条件要分别说明。
CUDA、Triton 等工具帮助实现设备上的计算程序，Tensor Core 提供特定精度和形状下的矩阵计算能力，训练框架组织模型与自动微分。这些层次不会替代训练目标或数据。稍后我们再回到同一硬件图，看分片怎样减少重复保存、FlashAttention 怎样减少大表往返。
普通文本自己提供题目，题目却未必简单
沿用同一段普通记录“在相同设置下，A用时12秒，B用时8秒。未测量内存。”前缀到“B用时”时，原文实际后续8就提供监督目标；前缀到“未测量”时，目标是内存。原文在资料区完整给出，不意味着当前预测位置能读取后词。
N25将记录指定为16个教学单位：[在相同设置下][，][A][用时][12][秒][，][B][用时][8][秒][。][未][测量][内存][。]，并非实际tokenizer结果。输入为BOS加16单位，标签为16单位加EOS，共17列。将BOS算第1列，第10列输入是第二个“用时”，对应目标8；因果mask只允许该位置读取BOS至这个“用时”。完整17列的对齐表在预训练正文。
模型分配给真实后续的概率决定预测误差，反向传播与优化器将信号作用于共享参数。对目标8，假设概率0.2对应负对数损失约1.609，0.5对应约0.693；这是两个计分示例，不能把0.5标为一次更新后必然达到的结果。下一次前向必须用更新后的参数重新计算。
接口统一为“预测后续”，并不意味着所需关系简单。看教学改写：“The trophy would not fit in the suitcase because it was too big.”奖杯放不进手提箱，因为奖杯太大。只把最后一词换成 small，关系变为手提箱太小。为明确指代，可以分别译为“奖杯太大，放不进手提箱”和“手提箱太小，装不下奖杯”。保留“它”的直译不因此必然错误；这里要辨认的是物体与容器之间的关系。
把预测位置放在完整英文之后，再接“这句话中，太大的是——”或“太小的是——”，教师参考续写为“奖杯”或“手提箱”。预测可以使用此前完整的 big/small，不能在更早生成 it 时偷看未来。这不是某个 seq2seq 系统的失败记录，也不是某个 LLM 成功运行的证据。逐 token 生成本身不排斥上下文和常识，双语训练也能学到许多关系。
日常叙述需要处理事件和限定条件，事实记录需要保持字段对应，代码还受到语法与程序逻辑约束。同一预测接口能接触很广的模式；数据筛选、去重与配比决定模型反复遇到什么。重复读取增加消费 token，不等于同等数量的新知识。GPT-3 的完整库存、抽样权重与消费轮数表保留在 预训练正文，其中论文舍入权重合计 101%，不擅改成新的“精确配方”。
学到的结构能否用于新任务，要靠任务评测。先认清MNLI所测的自然语言推断：用AB材料作教学前提，B耗时更短受到支持，A耗时更短与之冲突，B内存更少则信息不足。MNLI是跨体裁的真实评测数据集，本课AB句对只是任务说明。GPT-1先预训练，再用带标签MNLI数据和分类输出头微调，其消融为一个具体例子：完整模型 81.8，去预训练 75.7，差 6.1 个百分点；完整模型也付出了额外预训练计算，不能改称等计算比较，也不是zero-shot结果。Goodfire 对 InceptionV1 4e:55 的五步解释则研究内部表示，属于另一种证据，不证明 LLM 的常识或容量。完整例子见 迁移评价 与 Goodfire。
给一个例子，续写器能接住这一次任务吗
现在固定模型参数，把任务写进当前输入：
Translate English to French:
sea otter => loutre de mer
cheese =>
教师参考续写是 fromage。海獭的例子没有给出奶酪的法语词，它提供了任务与输出形式线索，完成翻译仍依赖训练中形成的能力。这个提示来自 GPT-3 方法示意，参考词不是现场生成。论文175B模型的WMT’14英译法评测另报告zero-shot 25.2、one-shot 28.3、few-shot 32.6 BLEU；few-shot设置K=64，受上下文窗口限制，不能假定任意长句对都装足64组；整组成绩不能归到这一个提示上。
这次改变的是输入和随之产生的激活、K/V，W 没有因这次请求执行梯度更新。attention 提供读取当次示例的接口，但理解示例并推广仍依赖多层已训练计算。ICL 因而自然地位于续写与助手训练之间：模型可以借当前例子接任务，但使用者不希望每次都搭一段精心准备的续写文本。
从续写到助手：把希望的回应写成训练样本
我们给助手一份完整材料：“在相同设置下，A用时12秒，B用时8秒。未测量内存。”任务是“请只根据材料，用一句话概括结果，并保留尚不能判断的部分。”教师参考回答为：“B在本次测试中耗时更短，内存尚未比较。”这次材料提供了具体事实，任务限定回答范围，模型已有能力参与理解和组织。
SFT 把 instruction、input 和期望 response 组织成训练样本。本课的 mask 让 assistant 回答 token 贡献损失，输入作为条件；这是教学设置，不概括所有实现。它仍然预测下一个 token，但反复学习的是“看到这类用户请求后，怎样接出合适回应”。mask对齐被预测的目标：首回应B由最后一个prompt位置的logits预测，结束标记也按设定计分。loss mask为0只表示输入目标不直接计分；prompt仍需前向，回应读取它，回应loss仍可沿该路径回传到共享参数。causal mask管“能看谁”，loss mask管“哪些目标计分”，不可混成同一遮挡。梯度继续更新参数。因此 SFT 与 ICL 的差别不只是一个有例子、一个没例子，而是这次是否通过训练改变参数。
现在换一份新材料：“在相同设置下，A用时7秒，B用时11秒。未测量内存。”任务保持不变，教师参考应转为“A在本次测试中耗时更短，内存尚未比较”。旧答案“B更快”不符合新事实；这仍是构造评价，不是实测模型失败。将预训练/SFT参数与无示例/同一个正确格式示例交叉比较，四种条件都要用独立样例检验事实对应、未测边界和格式，不能先填训练必胜。
SFT 可以塑造任务行为，也可能学入知识，不宜机械说它只改风格、不改能力。偏好模型、RLHF、DPO、可验证奖励进一步利用不同评价信号；LoRA/QLoRA 改变训练参数和存储计算安排。它们的完整过程保留在 后训练 与 小规模适配，不要求默认课堂连走一串算法。
到这里，承载与读取、可持续的训练目标、使用时示例和助手训练已经连在一起。接着要问：当我们真正扩大训练与使用规模，有限资源怎样支撑这条链？
让规模化训练与使用真正发生
前面的视觉实验问扩大训练条件会怎样改变表现；现在预算已经给定，问题变成怎样分配模型和数据，怎样把状态装进设备，以及怎样让不断进入的请求获得输出。仍然沿同一套参数与当次 K/V 展开，不从技术名词表重新开始。
有限计算，分给多大的模型与多少数据
N 表示参数量，D 表示实际消费的训练 token，C 表示计算量。对常见稠密 Transformer 的主要训练运算，可以用 C≈6ND 作预算近似。N、D 各翻倍，计算约变成四倍；C 固定时，增加 N 就减少可消费的 D。它不是所有架构与长上下文下的精确账单，也没有自动告诉我们最优配置。N42先给两套教学预算：4B参数×400B训练token与8B×200B，6ND均约9.6×10²¹ FLOPs。两张卡只算可比较条件，没有训练出优劣。
接着切换到Chinchilla Figure 3的3×10²⁰ FLOPs单线原图；它是另一笔预算，前面两张卡不是该图数据点。固定计算预算后，横轴为 Parameters，纵轴为 Training Loss。较小模型能消费更多材料，但容量可能限制收益；较大模型每 token 成本更高，可能训练不充分就耗尽预算。同一曲线较低的位置提示该实验条件中更好的分配。实测点与拟合线不同，不从图上目测一个精确最优数字再当作实验值。
完整扩展读图还包括 Kaplan Figure 2：左图按 Tokens Processed、右图按 Compute (PF-days)，两者纵轴为 Test Loss，颜色代表不含 embedding 的参数规模。相同 token 下的样本效率，与相近计算下的计算效率不是同一问题；测试损失也不能改名成下游任务成绩。
Chinchilla 约 70B 参数、1.4T token，Gopher 约 280B 参数、300B token，论文在相近训练计算下比较整体配置。优化器、分词器与数据配方也变化，所以不能把全部收益唯一归因于 N 与 D。模型还会被反复调用，生命周期成本还包括推理。完整曲线、历史配置和条件见 规模扩展正文。
模型文件放得下，训练现场为什么放不下
一个恰有 8B 参数的教学模型，BF16 工作权重每数两字节，对应十进制 16 GB。全参数训练还要保存梯度与优化器状态。本课统一混合精度 Adam 账本：工作权重 16 GB、低精度梯度 16 GB、FP32 主权重 32 GB、两份 FP32 动量合计 64 GB，持久模型状态共 128 GB。激活、临时算子空间和通信缓冲还未计入；这是教学设定，不是所有 8B 模型的固定峰值。
四卡数据并行让各卡各读一份数据，却在每卡保留完整状态，因此每卡仍需 128 GB。ZeRO 逐步把保存责任分开：先分优化器相关状态，再分梯度，最后分参数；在本设定下，每卡持久状态为 56、44、32 GB。减少重复保存并没有取消模型本身，也没有取消通信。
沿一次 ZeRO-3 计算，每卡仍让自己的数据经过全部层。本层开始时收集各处分片，临时得到本层完整参数，完成前向后释放完整视图；反向需要时再次收集，计算本地梯度，再将各卡对同一参数的梯度贡献归约并分片，由负责卡更新所持主权重、历史统计和工作权重。下一次取齐使用更新后的分片，所以各卡仍共同训练同一个模型。临时收集和激活会抬高峰值，32 GB 不是整个训练过程永远只占这些内存。
张量并行 TP 切的是一个层内的矩阵计算，局部结果需要按切法组合；流水线 PP 切的是连续层或阶段，微批次逐站通过，会有填充、排空与不均衡形成的空泡。它们与状态分片可组合，但先要说清楚切的是哪一个对象。完整账本、七步计算与通信定义见 分布式训练。
大注意力表，可否少搬几次
回到 query×key 的大方格。直接分步计算可能把分数和概率大表反复写回显存。FlashAttention 将可容纳的小块搬到片上，计算并更新累计结果，再继续下一块；它改变执行与 IO 组织，仍计算同一类精确 attention，不自动将一般稠密 attention 的平方算术复杂度降为线性。
累计时必须保留归一化信息。当前算例的指数正权重为2、1、4，value为10、20、30。第一块包含前两项，分子40、分母3；第二块包含最后一项，分子120、分母4。全部块合并后输出为(40+120)/(3+4)=160/7≈22.857；把局部输出40/3和30简单平均只得到65/3≈21.667。分母不等，不能按块数平均。N51把这个规则推广到三块示意，每块都处理后才写回最终输出，不改变上述小算例。旧权重(2,1,3)得到130/6的历史例，作为独立对照留在主题正文中，不串入当前计算。
真实online softmax还携带运行最大值，新最大值出现时将旧分子和分母一起换到同一尺度，避免指数溢出。用当前logits=(ln2,0,ln4)：第一块保存最大值ln2、分母3/2、分子20；第二块带来ln4，将旧量乘1/2后合并，得到分母7/4、分子40，输出仍为160/7。反向需要中间量时按块重算部分内容，以额外算术交换更少 IO 与存储。同一数学目标不保证不同实现逐位浮点一致。完整公式与反例见 分块归一化。
MoE 是另一个取舍：总参数与每 token 激活量可以不同。本课共享 0.2B，加八个 0.1B 专家，共 1B；每 token 选两个专家，按本例口径激活约 0.4B。未选专家仍要保存，同批别的 token 也可能选它们；路由通信和负载不均都进入成本。完整展开见 MoE，不能把少激活直接改写为实测加速。
输入变长、请求变多以后
已知输入可以批量组织计算，称为 prefill；未知输出必须先生成 token 1，再以它为条件生成 token 2，称为 decode。两者节奏不同，影响首个 token 等待与持续出字速度。实际瓶颈仍由模型、批量、形状、精度和设备决定。
因果计算中旧位置不依赖后来token，因此旧位置各层K/V可复用；每一步仍要用当前Q读取它们，并计算、追加新token的K/V。无需持久保存所有旧Q。不重算并不等于不读取；刚选出、尚未送入下一次前向的token也还没有完整各层K/V。
开场的当次 K/V 现在成为缓存数组。本课配置为 32 层、8 个 KV 头、头维度 128、每数 2 bytes。每 token 两份 K/V 合计 128 KiB，8192 token 为 1 GiB，八个不共享请求为 8 GiB。GiB 是二进制口径，与前面十进制 GB 分开；缓存还会随生成增长，且此式没有包含块表、空槽和临时空间。
持续增长的 KV 不必占一整段连续物理空间。教学块长为 4，六 token 占两块，第九 token 到来再加一块；逻辑块 0、1、2 可以映射到物理块 7、1、5。块表维持逻辑顺序，物理位置可以分散。PagedAttention 管理分配与寻址，FlashAttention 管理算子内部的数据访问，二者可以配合。
请求结束时间也不一样。固定教学需求 A 两轮、B 四轮、C 两轮，如果等整批结束，A 退出后的空位要等 B；连续批处理则在下一轮让 C 接上。等待整批要六轮：两轮A/B、两轮仅B、两轮C；连续接纳要四轮：两轮A/B后接两轮B/C。这个比较只显示调度动作，假设新请求入场准备已完成，不含真实prefill、硬件时间或吞吐实测，不能把轮数直接换成加速倍数。
若两个请求精确共享4096 token前缀，各有2048 token独有尾部，在上述配置下独立保存是2×6144×128 KiB=1.5 GiB；共享是(4096+2×2048)×128 KiB=1 GiB，节省0.5 GiB。共享块维护引用计数，不同后续各有自己的状态。复用要求 token、模型、适配器与位置等计算条件一致，语义相近不够；decode 也不会消失。P/D 分离则可能减少两阶段干扰，同时新增 KV 交接成本。Dynamo、LMCache、Mooncake 各自承担协调、GPU 外缓存、池化与传输等不同职责，不是三个互相替代的通用引擎。详细机制、推测解码与适用边界都在 推理服务，无需先安装任何软件才能读懂。
用同一份 A/B 材料把开场收回来
再看“A 用时 12 秒、B 用时 8 秒、内存没有测量”这份材料。预训练形成可复用的语言与关系处理结构；SFT 塑造面对用户任务时怎样回应；当前材料和示例进入本次输入，产生 K/V；attention 读取当次信息；推理系统组织计算、缓存与请求推进。教师参考回答最终为：“B 在所给条件下用时更短，内存尚未比较。”
这条路径说明大规模预训练能够成立，需要结构承载与读取、可持续扩展的学习信号，以及将计算真正做出来的系统。训练把经验留在参数中，上下文提供这一次的信息，助手训练把能力组织成使用者需要的回应。任何一层都不能凭空补出材料没给的内存结果。系统的运行框包住prefill与decode，负责资源、调度和KV生命周期，不是回答完成之后再接一个“工程模块”。后训练可以把生成候选、评价和明确参数更新接成新一轮训练，但普通请求和用户反馈不会自动成为梯度。
新测量与约束会改变选择
N62保留相同设置下12/8秒，明确新增一份教学构造记录：“A峰值内存3 GiB，B峰值内存5 GiB。”这时旧“未测内存”已被新记录替代，不能同时当成当前事实。两项独立结论是B耗时更短、A峰值内存更低。若只选择本次耗时更短者，选B；若增加峰值内存<4 GiB的约束，A=3通过、B=5不通过，应选A。选择取决于目标和限制，不能说B全面更好。
这次变化来自新证据和新约束，当前输入及其状态随之改变，模型参数图保持。执行优化可改变实现的成本，却不能回写原始测量记录、把5 GiB改说成3 GiB。本例不是实际A/B测量或模型运行结果。
研究和使用时，先辨认变化发生在哪里：缺少新事实，就取得并提供可靠材料；希望反复稳定完成某类任务，就定义评价并比较示例与适配；长输入或多人使用造成等待，就区分计算、容量、搬运和调度。下一步再研究推理与验证时，也要保留这种区别，不能让更复杂的过程代替对结果的核对。
把说明变成可以修改的计算
现有四本 Lab 保存预算与适配、关联记忆、KV 与调度、ICL192 设计。CPU 计算和模拟可以复算机制，不能测 GPU 性能；ICL192 目前只有 SYNTHETIC 评分 fixture，没有真实模型结果。完整代码、原输出与云端 Notebook 保留，新的课堂内容先在本页说明和主题正文中读清楚，后续再统一迁移实验。改变一个条件时，先说清保持什么不变、怎样评分，以及结果能支持多大范围的结论。
打开已经训练好的网络：怎样提出、检验和修正内部机制解释
分类成绩告诉我们模型在规定测试中做得怎样，却没有告诉我们内部怎样做到。Goodfire 的 Nick Cammarata 在 2026 年的《Neural Networks Are Already Clean》中回头检查自己参与解释过的视觉案例，再把观察方法带到语言模型。本节沿着这条发现过程走：先看到解释上的困难，再改变观察方式，再检查新解释有没有预测力。下面的实验结果均来自原文；本课程没有重训或独立复现这些模型。
这不是对前面 MAE 的逐层解释。主讲先后使用 InceptionV1、本文自训 ConvNeXt、DINOv2 和若干 Qwen、Kimi 案例。模型、输入、图像类型与干预条件必须分别读取。本节也不否定第一节给定条件下的联想记忆容量分析：容量能承载多少关联、训练带来多少任务收益、实际机制是否容易解释，回答的是不同问题。
从 GF01 开始课堂 · 保留的猫与车 P05 阅读 · 回到 N19 的分类结果 · 回到 N20 的矩阵计算
原文入口：交互文章 · 全文文本。本篇按问题保留正文及全部附录的实质内容；准确图例、全部切换状态和作者后续更新以链接的原图为准。
从猫和车开始：物体名字为什么可能误导
InceptionV1 的 4e:55 曾被当成猫脸与汽车的混合。若只把最强响应的整张照片贴上名词标签，这确实像两个不相干的类别。但模型响应的是照片中的某个区域；猫脸、车头、火焰和消防船水柱可能包含相似的尖状构型。作者重新检查局部、负极以及上下游连接，提出 V 形解释；负极的圆形 O 又对这个解释增加了一项约束。
形状解释也不能只靠“看着像”。它应该说明更多类别的新例为什么响应，为什么相反形状不响应，以及哪些上游输入提供了这种区分、哪些下游使用它。原图的框、热图和优化图承担不同工作：框定位被读的区域，热图显示测得的空间响应，优化图显示在某种优化目标下怎样激活单元。它们不能互相冒充。
第二个旧例是汽车信息经过看起来像狗的节点。问题出在自由优化得到的神经元图标：优化容易走进狗的路线，并不代表自然汽车输入实际走了同一路线。沿自然图路径轻推优化后，四个读出者中两个呈现汽车，两个呈现跨车与狗的共同姿态。本文据此修正了自己早期把它解释成任意打包的判断。这里有用的学习动作是重新检查观察工具，而不是把每一幅优化图都丢掉。
GF02–04 的猫与车 · GF05 的优化路线 · 原图 V · 原图汽车电路
工具、训练与架构是三种不同的比较
同一单元换可视化设置，回答的是观察工具能否改善可见性；同一架构重新训练，改变了训练过程；换成参数量相近的现代 ConvNeXt，又同时改变了架构。不能把三者画成同一次实验中三个可相加的因果贡献。原文对 InceptionV1 晚层从约 5%、到更好工具下约 50%、现代训练下约 70%、相近规模 ConvNeXt 约 99% 的叙述，是作者跨设置的粗评，不是统一量表下的一条精确进步曲线。
本文自训 ConvNeXt 的 small、medium、large 分别约 92k、7.06M、28.6M 参数，跨度约 300 倍；这些名称不应自动套到公开标准系列的同名配置。更大模型往往有更细的区分，但跨类别姿态仍然存在，因而“共享”本身不能证明网络是在被迫挤占空间。
观察分枝，与为分枝编一段历史不同
作者重训 InceptionV1 并观察 checkpoint，看到某些单元从油菜花田逐渐扩到相邻的颜色、物体和场景；改进架构中的对应单元更能保持最初主题。这些是训练时序记录。文章用 iy、diy、do it yourself 解释递归泛化时，则同时使用了概念分枝示意和成品模型的路径证据。没有相应 checkpoint 的大语言模型，不能把这种解释画成已经录像证明的训练时间轴。
“地质”与 Cesium JavaScript 库的例子也说明分枝需要沿上游路线查：名词列表看着不同，可能共享背景；但 Srinivasen 与 UniProt 的弱联系只是作者提出的候选联系，不能写成已确认因果。
空间真的变小以后，哪些区分会留下
把 InceptionV1 的 mixed3b 从 480 个通道减到 10 个并从头重训，是主动改变容量的干预；该结构没有残差绕行。作者报告在 50,000 张 ImageNet 验证图上 top-1 为 58.35%、top-5 为 81.14%。保留下来的响应更宽，例如不同方向的曲线汇为较粗的曲线与环路，而不是原先十个窄方向探测器的简单缩小版。自然例排名来自另外扫描的训练图片，不能把展示样例称作验证集成绩本身。
接着要问：细曲线是不是藏在多个通道的组合里？作者在压缩层训练 TopK SAE，640 个字典特征、每位置 2 个激活，用 200,000 张训练图片的 25.6 million 个位置。它解释 held-out 位置 82% 的方差，但插入模型后，在同一 10,000 张验证图片子集上的 top-1 从 58.8% 降到 43.0%。最相似的 SAE 曲线仍较宽、常在相反方向响应；不同字典大小与稀疏度也没有找回原来的完整窄区分。这约束了“只是藏起来”的解释，但 SAE 自身的重建与性能代价意味着不能据一次没找到宣告任何编码绝不存在。
另一个干预把 medium ConvNeXt 的末层从 1,024 个单元压到 13 个，从头重训，并控制残差绕行。它与在已训练模型里删除单元不同，也与下面保留残差的弱激活消融不同；课堂在 GF14A 单独对照。原文这个图没有给出可直接照抄的任务准确率，阅读时不补造。
GF13–14 · GF14A 末层压缩 · 压缩层 · SAE 检查及完整条件 · 末层 13 单元
从响应图走向电路、字典与错误
单元的正侧和负侧可以为下游作区分。ReLU 网络的负侧指非线性截断前的加权和方向，不是 ReLU 输出变负。真实跑车的路径图逐列挑出对下一节点贡献最大的单元；晚层 monastery 图则聚合多个自然样例的精选连接，每个节点配优化图与自然例。前者也不是完整网络，后者尤其不能当作一张输入的完整归因链。
SAE 可以给出有用的另一种视图。本文末层字典中约 88% 的活动接近单神经元复制，其余较弱；删除不匹配任何单元的字典方向后，所测准确率没有变化，少量改变落在原本接近的选项上。这不是“88% 字典条目可解释”，也不是 SAE 对所有研究问题都没有价值。字典在某张图“有什么”上的描述，与网络实际怎样构造区分，是两种用途。
错误也会使用可辨识的机制。异常图可能被正常通路误读；把一张伞照片故意训成蜜蜂则是另一个实验。7.06M 参数模型经过九个训练步骤，首选从伞经过五月柱转为蜜蜂；末三个 block 的替换足以使原模型也给出蜜蜂。这支持旧路径被改接的解释，不能推出所有错误和记忆都已解释。
GF11–12 · GF15–17 · 晚层聚合电路 · SAE 字典 · 伞到蜜蜂
弱激活、语言路径与可以失败的解释
弱激活是否重要，首先取决于在哪层、按什么阈值、删除什么量。主文 medium ConvNeXt 的对照同时操作全部 18 个 block：删最弱 75% 后准确率约 72% 到 71%，约十分之一答案变化；删掉总激活量与它相当的最强约 7% 后，准确率约 72% 到 4%，约 96% 答案变化。弱侧改变多见于原先接近的类别。但附录明确保留不能把这些有限检查升级为弱激活的一般语义定理。
迁移到语言时，先固定完整上下文与预测位置，再看信息经过哪些单元。Scar 案例没有直接出现名字：Pride Lands 引出 Lion King／Simba，再到敌人。删除 18 个中介单元后 P(Scar) 为 0.24；同层同数随机删除对照为 0.91，模型转答 Simba。Santa 的关键响应在负极：删去 8 个相关负极单元，P(Santa) 为 0.059，同样匹配的随机对照为 0.997。不能只靠自动标签中的 Christmas 或 Santa 来判断哪些单元真正有用。
语言图中箭头表示所选归因，不等于一个人类故事的全部因果。Kimi K3 钱包例是大模型上的选例；Qwen3.6 的 10,240 个专家地图是 agent 依据单元摘要评价主题后排序；两者不是一次完整审计，也不能拼成“全部万亿参数已理解”。
好解释必须承担失败的可能。Blind maximum 让第二个 agent 只看解释、不看神经元和原例，构造新输入再实测；它检验解释抓住的中心。近失配输入故意保留相似措辞、拿走关键条件，检验边界。两种测试互补，仍需上游、下游与干预证据。
GF18 · GF19–22 · GF23–25 · 语言案例 · 盲测中心
从局部表示到地图，再回到计算
二维地图能帮助发现组织关系，但它首先是一种观察。残差流图会选择样本、处理大坐标、对齐不同 stage 并降维；地图中的接近不是自动获得的因果证明。注意力的局部信息路线能够说明什么被搬到哪个位置，也不等于每个头都已有一个可靠全局名字。原文主动承认 attention 的研究比神经元少。
本节最后把单元放回模式家族、局部电路和全网地图。一个解释若只是一张名字表，很难随着新问题变细；若能从高层返回原始节点、输入和可干预路线，就可以持续修正。作者据此提出自动科学家实验室的愿景，尚未证明所有前沿模型可按同一方法完整解决。
然后回到本课原来的计算对象：MAE encoder 接收的可见 patch 表示。内部组织怎样形成，与完成训练和读取需要多少矩阵计算、显存和搬运，是相接的两个问题。
附录深入阅读：把每个问题继续讲清楚
以下对应原文全部附录，保留它们提出的问题、方法、结果与边界。每项可以从对应课堂页的本页说明继续进入，也可以独立阅读；回课链接使用稳定页 ID。
A01｜superposition 到底是哪一个命题
同一个词曾指向向量叠加、特征数超过维数、分布式组合，以及因很少相撞而把无关计算放在一起。本文重点质疑最后一种作为真实网络难解释性的默认原因，尤其是它对神经元如何生长的解释。特征数量超过维数也可以来自有用组合；残差流没有特权坐标基，也不能单独证明任意打包。评价本文必须先固定所谈命题，而不是把它当作否定所有同名理论。
原文 A Note on “Superposition” · GF10
A02｜模拟激活分数为什么不等同于解释质量
模拟器要预测精确数值，也要猜注意力把信息放在哪个标点上。一个解释可能抓住了单元的主要判断，却不擅长预测物体缩小时激活下降的精确速率；反过来，一个“猫或车”的预测器也可能在原例上得分很好，却错过 V 形。作者建议把模拟分数当成若干检验之一，并配新例、近失配与干预；这不是说数值预测没有用途，而是计分目标与研究问题必须对齐。
原文 On Simulation Scores · GF25
A03｜晚层优化图怎样受自然路径约束
自由优化只问怎样提高目标激活，可能进入自然输入很少走的路径。本文利用强自然例的路线，给优化一个沿这些路线走的激励；有时只在前 64 步这样做就足够离开“狗盆地”。作者没有宣称找到唯一最优配方。对 4c:447 的四个读出者，应同时读自由优化、路径引导优化和自然汽车输入的连接；一条成功路线仍不是一个单元的全部用途。
原文 Feature Visualization in Later Layers · 自然输入完整路径 · GF05
A04｜SwiGLU 的正输出为什么有两种来源
SwiGLU 的输出是 $a=\operatorname{SiLU}(g)\,v$。这里的有效门是经过 SiLU 的值；当门与 value 都为负，乘积仍为正。因此只按乘积排序，可能把双正和双负来源放进同一个正侧列表。Qwen3.6 的 L36/E206/N103 抽样 750 个分位分层例子，626 个保留 routing；p75–p99 中 131/133 为双负，而 p99.99 及以上 93/93 为双正。该局部审计与主文 Qwen3-32B L1/N20736 的示例不是同一个单元。本节四格表只说明符号分区；GF20 展示的 Colossians 与 russian 数值则来自原图的具体测量，两种材料分别读取。
把四个符号区间分开后，观察规则就明确了：
| 有效门 $\operatorname{SiLU}(g)$ | value $v$ | 乘积 $a$ | 需要另外检查什么 |
|---|---|---|---|
| 正 | 正 | 正 | 正侧正常路线的自然输入 |
| 正 | 负 | 负 | value的负侧及后续输出权重 |
| 负 | 正 | 负 | 小的负门是否只留下弱响应 |
| 负 | 负 | 正 | 是否把另一条来源混进正侧列表 |
SiLU满足 $\operatorname{SiLU}(g)=g\sigma(g)$，其中 $\sigma(g)=1/(1+e^{-g})$。负的 $g$ 不会被严格截成零，因此双负乘积可能出现。这里按运算符号分区；最终对某个答案的支持或抑制还取决于后续读出权重，不能从 $a>0$ 直接推出“支持该答案”。
原文 Separating the Sign Regimes · GF20
A05｜去掉投影中的坐标，是否就是改变模型
不是。附录用同一批 4,000 个图像位置，对比把坐标 112 保留或移出投影的两张图，再用该坐标原值着色；记录的网络激活没有改变。一个大坐标可能通过 LayerNorm 调节其余坐标的尺度，主导几何图的外观。投影调整帮助看见结构，但若要声称该坐标对任务有什么因果功能，还要另做模型干预。附录的 readout lenses 也只是定位计算变化的观察工具，置信度与出现时点会随 lens 改变。
标准 LayerNorm 的形式能帮助理解为什么一个坐标会影响其余坐标：
$$ \mu=\frac1d\sum_{i=1}^{d}h_i,\qquad \sigma_h^2=\frac1d\sum_{i=1}^{d}(h_i-\mu)^2,\qquad \operatorname{LN}(h)_i=\gamma_i\frac{h_i-\mu}{\sqrt{\sigma_h^2+\epsilon}}+\beta_i. $$
某个大坐标改变均值和尺度，因而即便下游很少直接读它，仍可能间接调节其余分量。公式只解释这种机制为什么可能；原文特定坐标的实际作用还依赖该模型的测量。把它从绘图输入拿走，不会自动改变模型计算中的均值、方差或答案。
原文 Looking at the Residual Stream · GF26
A06｜弱激活补测必须保留层与残差条件
附录的表格每一行只干预一层，ConvNeXt 的底行才是全部 18 个 block 一起干预。Inception 操作正 ReLU 值；ConvNeXt 操作 SwiGLU 乘积的幅度，并保留残差绕行。Inception 末层只保留约最强四分之一正激活时，准确率为 69.47%，原来为 70.08%。这不能推出全网也可同样删除：medium 与 large 的全部 block 使用 p99 截断后分别只剩 3.80% 与 27.78%。语义方面，enemy 单元的弱响应从敌对词扩到战斗、游戏与竞争，近零处普通文本更多；作者承认只有个别深查与抽查，还没有可信的一般语义测试。
原文 Weak Activations: Further Measurements · GF18
A07｜“找到了更多曲线”可能是什么
Missing Curves 的争论在于 SAE 发现的是新的基本构件，还是原有曲线响应单元的组合。本文示例将三个 SAE 曲线拆回既有单元，落在曲线单元方向上的比例为 97.5%、98.0%、97.2%；这是特定分解结果，不能改称整层可解释率。只用曲线激活训练的 100k 字典使用了约 84k 条目，说明可以得到很多组合。组合真实存在，但条目多不自动证明基本构件同样多。这个实验与 GF14 压缩层的 SAE 搜索是两个不同问题。
A08｜对抗输入经过哪些旧路线
ConvNeXt 的三角龙头骨被攻击成美洲豹时，六个头骨相关单元安静下来，真实美洲豹会使用的输入以约正常强度四分之一被激活。另一项 InceptionV1 实验采用更大的 32/255 扰动预算，并要求攻击经得起平移抖动、缩放和旋转；头骨边缘出现猫脸与斑点，十个预先按真实美洲豹响应挑选的单元里九个明显增强。两个模型的实验不能拼成一次干预；变化发生在图像，权重固定。作者把它读作优化复用已有路线的证据，尚不足以证明全部对抗例的来源。
原文 Where Adversarial Examples Go · GF17
A09｜背诵是否只是一条直接输出连接
Qwen3.6-35B-A3B 续写“Once upon a midnight”时，Poe、midnight 与文学上下文共同参与。删除 Poe 单元，dreary 首 token 概率由 87% 到 50%；只移除它在输出端的直接贡献仍有 85%。恢复下游文学单元部分救回到 57%，说明上游的作用包括影响后续计算。另一次保存的实验在 gate 超过普通文本 99.9 百分位时把单元输出置零，Psalm 23 背诵瓦解，而按数量或幅度匹配的随机干预仍保留经文；部分算术和摘要能做，编码等也退化。不能据此称为选择性删除全部记忆的通用方法。
原文 Memorization and Composition · GF17 · GF21
A10｜探针能检测到，模型是否真的使用
Social Security 的三单元探针能识别短语，不代表模型必须用该方向决定后续 token。本文将三个单元解释为词、名字和短语续写的共同响应，再沿真正影响输出的路线找到词汇、表单、退休和输出相关单元，以及 Social Security 与 401(k) 的竞争。图只展示筛查 31 个单元中的 11 个；数值是逐单元删除时目标 log probability 变化的加总，负值表示删除伤害目标，正值表示删除帮助目标。探针的可读性、可预测性和模型实际使用要分开。
原文 Social Security: Detection and Use · GF21
A11｜大量归因图审阅建立了什么证据
作者让 agent 审阅约 100,000 张归因图，并亲自检查数千张视觉与语言图；他报告很多异常在辨认新的模式后消失，尚未找到一个仍无法解释的重要单元群。但作者明确把它看作定性证据，没有把现有工具的结论压成可信“清洁率”。审阅数量不等于无偏样本、统一协议或完整覆盖；真正有力的反例仍可能改变判断。
原文 Audits of Attribution Graphs · GF25
A12｜近失配、遥远概念和盲测中心各检验什么
从 gallery 随机抽 200 个单元后，183 个解释描述正侧。agent 先只读解释，分别写五个应该激活的新例和五个近失配，再测响应；达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%，按单元计赢 164、平 15、输 4。主图展示前 20 个，81/100 对 8/100 是这个子集的数字，不能与整体混写。
近失配检查语义边界，却不能独自区分“X 或 Y”的任意打包；它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念，约 1% 达强响应，179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生；没有一个单分数替代其余工作。
原文 Explanations That Could Lose · GF23 · GF24
A13｜边上的共同模式为什么值得研究
作者分解 25,000 张 ImageNet 归因图，得到原生单元之间反复出现的连接模式，例如茶壶电路。96 个边模式与 96 个激活因子对照时，前者更能预测哪些图像会受对应单元消融影响。这里的抽象仍能返回真实节点和连接，因此适合从局部走向地图；它不是声称每一种矩阵分解都获得完整因果图。
A14｜从一张图开始，泛化还是记忆先出现
作者的解释假说是：已有的宽模式更容易获得梯度、吸收剩余误差，随后继续被复用。单张拉布拉多照片训练出的网络主要迁移了深色和绿色，不能说它从一张图真正学懂狗。十种类别各给一张照片的实验在新图上约五分之一正确、约为机会水平两倍；颜色匹配也差不多好。这支持很弱的早期迁移，不是强 one-shot 识别。原文也保留 grokking 等任务中记忆先占优的例外，不能把发展猜想宣布为统一定理。
原文 Why Networks Generalize · GF31
A15｜两个网络竞争，不等于网络内部电路竞争
Circuit Racing 把预训练网络与空白网络放在共享目标下，观察前者吸走大部分贡献，后者学习有限；虚线表示各自单独学，金色带表示共享目标分配的贡献。图给出两项选定比较和各个 seed。这个整体模型层面的干预展示先发优势，却不能直接证明单一网络内部所有电路也按完全相同机制竞争；后者仍是作者的解释方向。
A16｜训练轨迹怎样帮助检验分枝
重训 InceptionV1 suffix 的图让同一坐标按 checkpoint 并排显示，优化图下方配最强响应处的自然裁剪。它能区分一个成品单元里的邻近反应是怎样逐步出现的；但观察尺度错误仍可能把轨迹看成任意混合。作者临近发布时再次误调显微镜的经历，是提醒我们保留自然例、位置与工具设置，而不是为了一个发展故事挑几张顺眼的图。
原文 Watching Neurons Develop · 完整训练显微镜 · GF09
A17｜toy model 的结论可以带到哪里
作者认可 Toy Models of Superposition 在自身设定中的实验，并未声称它们算错。争论在于该重建设定为每个预定义特征计入干扰成本，却较少包含真实网络中下游复用共同结构的收益。本文给出两个补充 toy：共享对角线单元被不同任务读成圆和四角；另把 20 个输入分成四个共同激活组，经过五维瓶颈并加入隐层，相关输入更常共同生长，输入变密时更接近 PCA-like 结构。它们说明设定会改变答案，不能用任何一个小玩具模型宣告真实大网络必然如此。
原文 Toy Models · GF10 · GF31
A18｜电路生态解释有什么可检验部分
作者猜想已有相关部件与读出者有学习速度优势，新的相关误差先被它们捕获，较不相关的候选路线失去梯度。独立单元的形成可能尤其有利于被下游继续构造，而非仅仅把答案推向输出。手工安装任意打包编码的实验经常因干扰而失败；成功的部分多随训练减弱，也有保留。人工施工能力有限，所以这一尝试不是不可能性证明。更强的检验应比较匹配的学习轨迹和因果作用。
原文 More on Circuit Ecology · GF28 · GF31
A19｜保留一个没有完全解释的反应
InceptionV1 mixed5a:719 会响应中间收窄的领结、蝴蝶、泳衣上部，也响应伴随它们的礼鞋、沙滩包和拖鞋。作者倾向于把它读成共同形状加语义残留，因为早层共享通路；但他没有完全解释这些例外。课程保留这个对象，是为了让“还不知道”可以落在一组实际反应上，而不是被一个足够宽的名字抹掉。
原文 Unresolved Responses · GF30
A20｜特征、机制与组织不是同义词
人类关心的一种概念、网络自己的可复用计算构件、SAE 中一个字典方向，都可能被叫作 feature，却不是同一个对象。给猫、车、V 各计一个特征还是只计 V，会改变“特征数”，不一定改变网络。本文因此优先追问什么被什么读取、为什么响应会同处一处。字典仍可作为有用视图；只有确实存在妨碍理解的原生组织问题时，才需要论证替换机制的成本值得承担。
原文 A Note on Features and Definitions · GF10 · GF28
A21｜让另一个模型解释激活，会替代机制研究吗
Meta-model 直接读取另一个模型的激活并给出解释，可能有比逐单元研究更好的高层用途。本文没有给这类方法做全面比较，而是提出兼容关系：把它当地图的最高层，再沿其判断追查具体单元与电路。高层说得对，与其内部证据可以追溯，是两个需要各自检验的要求。
原文 Relation to Meta-Models · GF31
A22｜规模推断为什么仍是一项假说
作者把两件事分开：旧模型混乱的经典解释是否成立，以及任意打包会不会在下一规模出现。后一项没有由前一项直接排除。他的猜想是更成熟的相关电路更容易吸引新知识，罕见事实则沿相关通路生长，因而规模增大可能加强组织而非任意打包。可检验的预测是承载罕见事实的单元与注意力头应和事实内容有关。原文明确没有证明这一发展机制，不能据此保证更大模型永远更清楚。
原文 Does Scale Help or Hurt Superposition? · GF28 · GF30
A23｜怎样读一个比证据更大胆的标题
作者没有完成所有网络的全审计。他说约 85% 确信的是“几乎所有机制可能来自这一类组织过程”的假说，而不是报告“85% 神经元已解释”。标题表达的是对生成机制的判断变化，不能用作清洁率、正确率、安全性或对齐程度的测量。本文的有力之处在具体案例与可继续检查的方法；它的雄心仍需更多模型、协议和反例承受。
A24｜递归泛化与 conjoined features 的关系
Multimodal Neurons 已描述从共同侧面向多个方向泛化的 conjoined features。本文承认这一先行观察，并选择“递归泛化”强调分枝还能再分枝、过程发生于生长而不是两个静态概念被接起来。早期只有成品，曾猜是训练早期的残留；后来的视觉轨迹显示分枝还会继续生长。名称变化本身不是新证据，应把发展记录和概念解释分别保留。
原文 Relation to Conjoined Features · GF09
A25｜分枝较弱，是否就可以不管
作者目前观察到的旁枝通常较罕见，在各自语境中也较少具有主干那样大的因果作用，因此不像罕见但极关键的隐藏机制。这是经验判断，并非保证；它还提出未知的抑制过度生长压力。研究上有价值的是能够解释旁枝的来路与作用，而不是仅统计 top-k 与一个标签吻合多少。若出现少见却影响巨大的分枝，就应更新这一判断。
原文 Why We’re Not Worried About Recursive Generalization · GF21 · GF30
A26｜怎样让“递归泛化”自身也可以失败
一个有约束的递归泛化解释应预测语义空间中的局部来路、分枝方向及训练次序，而不是见到任何两个响应都补一个共同祖先。本文承认没有严谨证明所有重度多义例都如此，也没有大语言模型所需的完整 checkpoint。成品上的路径一致性可以增加信心，但要确证发展因果仍需要时序数据。保留这一限制，才能避免把“任意打包的空隙解释”换成另一个无所不包的故事。
原文 Is Recursive Generalization Hard to Vary? · GF09 · GF24
A27｜多个注意力头共同工作是否就是本文批评的现象
Useful information 可以分布在多个头中，这与“无关计算因不干扰而任意打包”不是同一命题。作者承认 attention 理解仍不足，不能断言该领域已排除了后一种可能。一个层内的局部路线常由两三个头承担主要工作，但路线横跨多层；研究单头、动态局部群组或全局分解，仍应按问题和证据选择。本文倾向局部路线，并没有完成对所有头的命名和解释。
原文 Relation to Attention Superposition · GF27
A28｜神经科学类比与作者动机放在哪里
作者坦承不是神经科学家，把人工网络中的泛化、组合和误差信号是否可迁移到脑作为猜想。他强调，即便人工网络可复制、干预、跑大量样本，解释也走过很多弯路，因此不能轻率把有限生物观测读成某种机制结论。结尾关于让 agent 更理解自身的愿望，是研究动机和价值判断，不是人工网络实验推出的脑科学或意识结论。
原文 Neuroscience, and Why I Care · GF31
来源、先行工作与继续阅读
全文署名为 Nick Cammarata，语言研究段与 Curt Tigges 合作。作者感谢许多合作者与早期工作的贡献，同时声明观点与错误由自己负责；课程不把致谢理解为被致谢者认可全部主张。完整 Prior work 与 References 保留原文索引，可按下面的问题继续找一手材料。
- 早期可视化与电路：Olah 等，Feature Visualization；Zoom In；Cammarata 等，Curve Detectors。
- 组合与不同 superposition 定义：Elhage 等，Toy Models of Superposition；Olah，Distributed Representations: Composition & Superposition；Goh 等，Multimodal Neurons。
- 自动解释与字典：Bills 等，Language Models Can Explain Neurons in Language Models；Bricken 等，Towards Monosemanticity；Gorton，The Missing Curve Detectors。
- 归因图与注意力：Ameisen 等，Circuit Tracing；Lindsey 等，On the Biology of a Large Language Model；Jermyn 等，Progress on Attention。
- 机制、记忆和尺度：Geva 等，Transformer Feed-Forward Layers Are Key-Value Memories；Gurnee 等，Finding Neurons in a Haystack；Arora 等，Language Model Circuits Are Sparse in the Neuron Basis。
这些链接是继续核对相关争论的入口，不表示本课程另行复现了每篇实验。本文原图保留原作者权利，课堂使用、裁剪或重排均按相应页的来源说明标明；没有把它们重新标成开放许可。
建议引用：Cammarata, N. (2026). Neural Networks Are Already Clean. Goodfire. https://already-clean.goodfire.com/