预训练、规模扩展与上下文学习

再想一步

可以沿三问检查一个新模型：先指认它用到的信息，再说明支持能力判断的证据，最后列出执行所需对象。三个答案可以来自不同实验，不能用一张结构图同时代替。

从本页继续阅读

• 从训练目标到参数更新：用同一份 A/B 记录完整追踪输入、目标、损失与更新。
• 参数与当前上下文：区分长期参数和本次输入形成的读取状态。

再想一步

要判断改变会持续到哪里，先检查是否执行了参数更新。上下文中的示例还可能通过改变注意力读取和中间表示影响输出；这种当次计算变化与优化器更新参数有不同的持续范围。

从本页继续阅读

• 一份文本怎样产生训练信号：从原始材料、下一项目标到损失，展开一次训练过程。
• SFT 到底改变什么：用 prompt 与回应目标说明后续监督如何更新参数。
• GPT-3 的上下文适应设置：原论文图2.1和方法部分区分 zero-shot、one-shot 与 few-shot。

再想一步

自监督目标由数据构造，但并不省略误差计算与优化。一个训练位置的目标确定，不等于语言中只有一个合理续写；损失衡量的是对给定训练目标分配的概率。

从本页继续阅读

• 一次文本训练的完整过程：在 A/B 记录上继续看目标右移、预测计分和参数更新。
• BERT 的遮挡语言建模目标：原论文3.1节说明如何从可见上下文预测被选中位置。

再想一步

“近似幂律”表示在所研究范围内，投入按比例扩大时，损失的变化可由经验函数拟合；它不是每次加同样数量参数就下降相同损失。固定预算问题则比较多组 N 与 D 的组合，而不是在原训练量上无限增加参数。拟合的指数、最佳比例和适用范围要回到各篇论文，不能跨实验直接照搬。

从本页继续阅读

• 固定计算预算怎样分配：正文结合 Chinchilla 实验图比较参数规模与训练量。
• Scaling Laws 原研究：阅读模型、数据、训练计算与交叉熵损失的经验关系和适用条件。
• Chinchilla 原研究：比较固定训练计算预算下模型大小与数据量的分配。

再想一步

若要评价示例的作用，应固定模型、任务材料和评分方式，只改变示例条件，并在多个输入上比较。这里先用输入对照明确变量，随后正文再将条件比较与实际输出分开讨论。

从本页继续阅读

• 示例加入后，当前计算怎样变化：从当前输入 X 到 K/V，区分固定参数与请求状态。
• 同一 A/B 任务的完整对照：查看有无示例、回应组织与事实保留的具体区别。

再想一步

区分解释需要设计会产生不同预测的输入，例如保留关系而更换具体词语，或保留熟悉词语却改变关系。结果可以约束“仅记片段”的解释，但仍不能凭一个成功例子定位网络中的全部机制。

从本页继续阅读

• 文本预测可能要求哪些能力：从 A/B 记录的后续预测理解不同位置依赖的结构。
• 从读取装置进入记忆问题：固定查询和目标，观察关联增加时读回的改变。

再想一步

检索的评价对象是读回向量与目标向量的差别。把向量排成图样便于看见差别，数值指标仍要使用同一尺度和误差定义，不能只凭图像看起来相似就认定读对。

从本页继续阅读

• 固定查询的四档读回：查看查询、目标、存入关联数与干扰指标的完整实验。
• 记忆容量的条件与指标：展开写入、读取、随机向量假设和误差标准。

再想一步

表现、解释和干预之间需要可追溯的桥梁：先确定输入和测量对象，再提出能预测新例的解释，最后选择真正改变内部计算的操作。一次干预支持的结论仍受输入与对照范围约束。

从本页继续阅读

• MAE 的预测、目标与误差：看同一校车图的遮挡、重建与原图如何构成训练信号。
• 猫和汽车为何共同激活：从真实高响应图像提出解释，并寻找下一步检验。
• Goodfire 原始研究：区分自然样例、内部观察、归因、消融和解释评价。

再想一步

计算、存储与搬运并不总是同时成为瓶颈。同样的算式可因工作集大小和数据复用方式不同而产生不同等待；要改善执行，必须先识别当前资源限制。

从本页继续阅读

• 一次更新要保留哪些对象：从8B教学配置区分权重、梯度、主权重和优化器状态。
• 搬运怎样改变执行代价：看分块 attention 保留计算关系而改变读写组织。
• 当前请求怎样产生状态：区分 prefill、逐步生成与 K/V 追加。

再想一步

这里先把写入和读取变成可计算对象，再把视角移向真实模型。前者解释一种装置如何工作，后者检验训练和内部行为；两者相连，但不能彼此替代证据。

从本页继续阅读

• 从第一条关联开始读回：进入 AR01，认识 key、value、查询、目标和已存关联数。
• 本讲完整图文讲义：按实际课堂顺序阅读同源图解与每一步解释。

这里的目标不是证明模型记住了图像，而是为“记住”选一个可检查的读回标准。同一查询、相同数组前缀和固定灰度，使变化能追溯到新增关联。

与本页直接相关的完整材料

• AM01 · 模型要用上更多知识，先要能承载、能读取：原图、逐态说明与已校准推导。
• AM02 · 写进去了，还要在需要时读得回来：原图、逐态说明与已校准推导。

条件、推导与来源

AM01 · 模型要用上更多知识，先要能承载、能读取

要理解大模型为什么可能用上更多知识，先分清结构的承载能力与训练形成的实际能力。

“先能记住，再讲怎样训练”是解释次序。实际训练时，数据、目标和参数更新一起发生，不存在先把空网络训练完、再把知识放进去的机械流程。

来源与继续阅读

Alex Wang：对应原文小节。两个必要视角是本课程的开场组织，不是原文逐字开场。

M01 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM02 · 写进去了，还要在需要时读得回来

先用同一查询下的读回质量，给“记住”一个可检查的含义。

本节实验关注向量读回的保真程度。分类只要求正确候选胜出、生成只要求相关token更有可能时，可以采用不同指标；相应容量不能直接比较。

来源与继续阅读

Alex Wang：对应原文小节。

I03 原阅读材料 · M02 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本段始终使用两条目、列向量约定。两个外积的和为 W=[[1,0],[0.6,0.8]]；读取是先匹配再汇总。旧三条目行向量算例仍在完整阅读中，但不混入此处计算。

与本页直接相关的完整材料

• AM03 · 先写入两组“线索—内容”：原图、逐态说明与已校准推导。
• AM04 · 读A时，为什么B也会出来？：原图、逐态说明与已校准推导。

条件、推导与来源

AM03 · 先写入两组“线索—内容”

目标仍被保存，读出却可能夹杂别的内容；现在用两组向量把装置拆到能手算。

W=Σᵢvᵢkᵢᵀ，W∈R^(d_v×d_k)。本例两个外积分别是[[1,0],[0,0]]、[[0,0],[0.6,0.8]]。

来源与继续阅读

Alex Wang：对应原文小节。

I02 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM04 · 读A时，为什么B也会出来？

两次外积已经加到同一个W，接下来检查能否只读回目标。

Wx=Σᵢvᵢ(kᵢᵀx)；对单位key查询k_j，Wk_j=v_j+Σ_(i≠j)vᵢ(kᵢᵀk_j)。

来源与继续阅读

Alex Wang：对应原文小节。

I03 原阅读材料 · M02 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

有限维修正使dₖ=64的外积RMS比较线位于M=65，常用量级说法约为64。负匹配不能简单按绝对值累加；相消也不保证干扰为零。

与本页直接相关的完整材料

• AM05 · 条目越多，干扰怎样累积？：原图、逐态说明与已校准推导。
• AM06 · 能改的地方有三个：原图、逐态说明与已校准推导。

条件、推导与来源

AM05 · 条目越多，干扰怎样累积？

二维例解释干扰来源，随机向量模型继续检查条目数和维度的影响。

独立零均值、各向同性、单位长度value使交叉项的期望消失。随机单位key有E[(kᵢᵀk_j)²]=1/d_k，故外积存储的平方平均干扰/信号为(M−1)/d_k，RMS比值为√((M−1)/d_k)。常用量级写法√(M/d_k)忽略一条目标记忆。不要把每一项绝对值简单相加成M/√d_k，也不要说正负相消后必然没有噪声。

来源与继续阅读

Alex Wang：对应原文小节。

I03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM06 · 能改的地方有三个

扩大维度不是唯一改进办法，写入与读取也可以分别调整。

来源与继续阅读

Alex Wang：对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

W*=[[1,−0.75],[0,1.25]] 可直接核验两次乘法。拟合范围、精确恢复区和过载阈值各有不同含义，完整伪逆与投影推导保留。

与本页直接相关的完整材料

• AM07 · 同样一个线性层，可以把两条都读对：原图、逐态说明与已校准推导。
• AM08 · 最优线性写入能延后干扰，仍然有边界：原图、逐态说明与已校准推导。

条件、推导与来源

AM07 · 同样一个线性层，可以把两条都读对

先改写入：key/value与矩阵尺寸都不变，只重新选择权重。

求解min_W Σᵢ||Wkᵢ−vᵢ||²。本例代入可直接核验：W*k_A=(1,0)；W*k_B=(0.6−0.75×0.8,1.25×0.8)=(0,1)。独立key数量不超过输入维度时，无正则的线性回归可拟合所有这些指定关联。病态key、数值精度、噪声查询是另外的问题。

来源与继续阅读

Alex Wang：对应原文小节。

I02 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM08 · 最优线性写入能延后干扰，仍然有边界

手算例说明写入能改善；曲线检查改善在哪个范围成立。

M>d_k且K满列秩时，W*=VᵀK(KᵀK)⁻¹。权重矩阵P=K(KᵀK)⁻¹Kᵀ是投影，目标贡献是P_jj v_j，不能仍把目标系数写成1。由Σ_(i≠j)P_ij²=P_jj−P_jj²，若P_jj≈d_k/M，比值近似√(M/d_k−1)。因此约2d_k是“干扰约等于信号”的量级，不是精确恢复2d_k条。全节R的分母是实际目标项a_jj v_j，所以它不普遍等于||f(k_j)−v_j||/||v_j||，更不是错误率。

来源与继续阅读

Alex Wang：对应原文小节。

I03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页未归一化。$f(x)=\sum_i v_i\sigma(k_i^\top x)$；平方ReLU是$\max(s,0)^2$。

与本页直接相关的完整材料

• AM09 · 弱匹配经过非线性，能少贡献一些：原图、逐态说明与已校准推导。

条件、推导与来源

AM09 · 弱匹配经过非线性，能少贡献一些

线性写入仍有边界；现在回到原始相似度，只改读取规则。

f(x)=Σᵢvᵢσ(kᵢᵀx)；本页没有归一化。平方ReLU是max(s,0)²，不是对所有带符号相似度直接平方。负相关项先被截断，避免把强负匹配变成强正贡献。

来源与继续阅读

Alex Wang：对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

保留显式构造H=M这一条件。容量曲线不能直接解释固定宽度MLP能记住多少现实事实。

与本页直接相关的完整材料

• AM10 · 比较线索、调节响应、汇总内容：认出MLP：原图、逐态说明与已校准推导。
• AM11 · 改变响应函数，容量曲线为什么会移动？：原图、逐态说明与已校准推导。

条件、推导与来源

AM10 · 比较线索、调节响应、汇总内容：认出MLP

匹配、非线性与汇总的操作已建立，现在辨认其网络形式。

Geva等在其研究模型中将FFN的key响应与文本模式、value与输出分布联系起来，并分析多个记忆贡献的组合。本页只采用这一受实验支持的解释，不把全部知识归属到MLP，不把每个hidden unit等同于一条事实。偏置、残差、归一化和门控结构另在材料中展开。

来源与继续阅读

Alex Wang：对应原文小节。

M04 原阅读材料 · P05 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM11 · 改变响应函数，容量曲线为什么会移动？

从单个弱匹配的降低，走向大量随机候选的整体干扰。

对球面均匀单位key，s=kᵀx，精确查询目标得分为1。E[ReLU(s)^(2p)]=(2p−1)!!/[2d_k(d_k+2)…(d_k+2p−2)]，因此RMS干扰比为这一矩乘M−1再开方。大维度近似给出平方和立方的不同常数，不能只写d_k^p后把它当精确计数。独立复算在d_k=64时，平方ReLU的RMS阈值约2817；blog中常用近似约2700，二者指标/近似口径应分别标明。

来源与继续阅读

Alex Wang：对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页整个默认过程固定二维[1,0.6]、β=4。指数与幂次的联系完整保留在AM12深入阅读；AM13保留缩放、稳定实现和原公式。

与本页直接相关的完整材料

• AM12 · 指数怎样拉开强匹配和弱匹配？：原图、逐态说明与已校准推导。
• AM13 · 归一化以后，就是熟悉的softmax读取：原图、逐态说明与已校准推导。

条件、推导与来源

AM12 · 指数怎样拉开强匹配和弱匹配？

提高幂次以外，指数也可以改变强弱匹配间的相对贡献。

exp(βs)=Σ_(p≥0)(βs)^p/p!。所有指数项整体除以目标权重后，非目标项相对权重为exp(β(s_i−1))。本页β=4仅为二维演示，后面的随机64维容量实验另用β=8，切换处必须明示。

来源与继续阅读

Alex Wang：对应原文小节。

I04 原阅读材料 · M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM13 · 归一化以后，就是熟悉的softmax读取

回到两条key、β=4的例子，把正响应归一化成总和1。

用列向量查询记号，f(x)=Vᵀsoftmax(βKx)。标准attention为softmax(QKᵀ/√d_k)V，差别包括行列约定和Q投影。若q、k的典型长度约√d_k，其内积缩放可对应单位向量约定下β≈√d_k，不是对任意训练模型都精确成立。实现稳定softmax需先减最大logit，再指数和归一化；仅“除以总和”不能保证计算中不溢出。Transformer原论文。

来源与继续阅读

Alex Wang：对应原文小节。

I04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

球面RMS约127万、高斯近似约120万与博客采样统计属于不同口径。幂次、指数、查询噪声和候选存储的完整条件可从关联阅读继续。

与本页直接相关的完整材料

• AM15 · 注意力的检索容量，要连同实验条件一起读：原图、逐态说明与已校准推导。
• AM16 · 上下文变长，读取的锐度也值得重新考虑：原图、逐态说明与已校准推导。

条件、推导与来源

AM15 · 注意力的检索容量，要连同实验条件一起读

条目可随输入增加；在大量候选下，读取选择性还能维持到什么量级？

对高维随机单位key相似度近似N(0,1/d_k)，精确查询下相对目标的RMS干扰近似√M·exp(β²/d_k−β)。令其为1得到M≈exp(2β−2β²/d_k)；d_k=64,β=8给e^14≈1.20×10^6。独立球面积分RMS复算约1.27×10^6，与高斯近似和作者采样统计不是同一口径。若目标相似度变为ρ，同一高斯估计替换为exp(2βρ−2β²/d_k)，可在补充材料演示查询噪声使收益下降。

来源与继续阅读

Alex Wang：对应原文小节。

I04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM16 · 上下文变长，读取的锐度也值得重新考虑

固定锐度仍会积累干扰；只调整读取锐度，能否部分补偿长度增长？

原始Qwen报告中的LogN做法、Su的推导以及YaRN的尺度不同，不能合称所有模型都这样缩放。参考：Qwen、Su原文、YaRN。有限个互异key、精确查询、可任意提高锐度的数学极限，与有限精度、计算预算、训练分布及噪声查询下的实际系统应分开讨论。

来源与继续阅读

Alex Wang：对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

A12秒/B8秒是本课贯穿记录；本段引入它的身份，后半课只添加新任务和新测量，不重置事实。

与本页直接相关的完整材料

• AM14 · 有的关联在参数里，有的条目来自这次输入：原图、逐态说明与已校准推导。

条件、推导与来源

AM14 · 有的关联在参数里，有的条目来自这次输入

读取公式已经连上，接下来区分关联在参数中还是来自当前输入。

此处“非参数式”描述可随输入长度增长的条目，不表示attention没有可训练参数。每层、每头的key/value是该层表示的投影，不是“一条token对应一条独立事实”。KV缓存是保留计算结果的工程机制，本页只埋线索，具体成本由后续服务段展开。

来源与继续阅读

Alex Wang：对应原文小节。

M04 原阅读材料 · N08 原阅读材料 · N09 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

attention与MLP的计算结构可以承担读取与关联，但结构上的可能性还不能证明真实训练已经形成了所需能力。前面的手工例子中，key和value由我们指定；真实模型要从数据和训练目标中形成表示，再用独立任务评测检验。接下来先看图像如何进入模型，以及不同训练条件下的实际表现。

与本页直接相关的完整材料

• AM17 · 有承载机制，还要把知识学进去：原图、逐态说明与已校准推导。
• AM18 · 机制说得通以后，去视觉实验中看结果：原图、逐态说明与已校准推导。

条件、推导与来源

AM17 · 有承载机制，还要把知识学进去

机制分析完成后，回到开场的另一条线：训练实际形成了什么能力？

对线性层y=Wx，一步梯度下降是ΔW=−η(∂L/∂y)xᵀ，形式上也是外积更新。它说明梯度可以怎样改变输入与输出方向的关联；−η∂L/∂y是误差信号，不是原始事实value，不能说每一步梯度把一条完整知识原样存入。整网的非线性、表示变化和优化历史还需另论。

来源与继续阅读

Alex Wang：对应原文小节。

M04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM18 · 机制说得通以后，去视觉实验中看结果

增加模型与材料是否改善任务表现，需要真实训练和评测来回答。

来源与继续阅读

Alex Wang：对应原文小节。

X01 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

4×4是教学网格；真正的patch规格与原论文配置分开。照片来源、编号与裁片一一对应。

与本页直接相关的完整材料

• N11 · 把一张图变成一串可以计算的向量：原图、逐态说明与已校准推导。

条件、推导与来源

N11 · 把一张图变成一串可以计算的向量

图像分成 patch，每块像素展平后进行可训练线性投影并加位置表示。画面 4×4、16 个块仅是序列化教学示意。真实 ViT-B/16 的 /16 指 16×16 像素块；224×224 图像对应 14×14=196 块。图像取 MAE Figure 2 校车原图作为连续对象，不冒称为 ViT 论文中的原始示例。

来源：ViT v2，§3.1；校车来自MAE v3，Figure 2。

相关的完整阅读材料保留原有公式、引用和原始图解。

采用ViT v2 Figure3原图，保留数据集、模型身份、BiT范围与下游评价流程；不将不同数据集比较变成纯数据量因果实验。

与本页直接相关的完整材料

• N12 · 这张图比较的，究竟是哪一次训练？：原图、逐态说明与已校准推导。
• N13 · 在这个条件下，做大 ViT 没有换来更好成绩：原图、逐态说明与已校准推导。
• N14 · 扩大训练以后，同一对模型的排序变了：原图、逐态说明与已校准推导。

条件、推导与来源

N12 · 这张图比较的，究竟是哪一次训练？

ViT Figure 3 的横轴是 ImageNet、ImageNet-21k、JFT-300M 三个预训练数据集，数量与组成同时变化；纵轴为目标 ImageNet 的 top-1 分类准确率。这里先做带标签预训练，再带着参数到 ImageNet 进行带标签微调与验证集评测。因此“预训练”是学习流程位置，不必然指无标签训练。/16 表示 16×16 像素的 patch。灰色区间来自不同规模 BiT，不是单一小模型。

来源：ViT v2，物理 p.7 Figure 3、§4.3、p.15 Table 5。

相关的完整阅读材料保留原有公式、引用和原始图解。

N13 · 在这个条件下，做大 ViT 没有换来更好成绩

左列比较同一 ImageNet 预训练数据集、同为 /16 patch、同一目标评测下的 B/16 与 L/16。L/16 更大，但该条件中准确率更低。图像局部先验可帮助解释为何卷积在较小训练条件下有效，但这张图不单独识别所有原因，也没有匹配每个模型的参数量与总计算。

来源：ViT v2，Figure 3 左列。

相关的完整阅读材料保留原有公式、引用和原始图解。

N14 · 扩大训练以后，同一对模型的排序变了

JFT-300M 列中 L/16 高于 B/16，修正了仅凭左列得出的扩展判断。该图换了数据集数量和组成，训练计算也不完全相等，因此不把全部增益归为纯样本数。

Figure 4 在同源 JFT 子集上补充研究规模变化，其 5-shot 指冻结表征后拟合线性分类器，并非语言模型的提示 ICL。

现代卷积同样可以从结构与训练配方获益；本段不主张卷积不能扩展。原图完整条件见视觉扩展正文。

来源：ViT v2，Figure 3/4；ConvNeXt，Table 1。

相关的完整阅读材料保留原有公式、引用和原始图解。

三图均来自MAE v3 Figure2校车行，固定身份与尺寸。真实重建不作美化；输入限制、预测、目标与后续独立评价分开。

与本页直接相关的完整材料

• N15 · 只看这些碎片，模型要补回什么？：原图、逐态说明与已校准推导。
• N16 · 重建可以不完美，监督却可以很明确：原图、逐态说明与已校准推导。

条件、推导与来源

N15 · 只看这些碎片，模型要补回什么？

本页左图是 MAE v3 Figure 2 校车行的真实遮挡输入，196 个 patch 中可见 39 个，约 80% 被遮住。观众之前见过全图，不代表模型该轮得到全图。遮挡人为构造了输入限制，原始图片同时提供预测目标；这里的 mask 是构造重建训练题，不是因果 attention mask。

来源：MAE v3，物理 p.2 Figure 2 校车行。

相关的完整阅读材料保留原有公式、引用和原始图解。

N16 · 重建可以不完美，监督却可以很明确

三张图片固定为论文遮挡输入、论文重建、原始图像。重建图保留原始误差，不贴回可见区域，也不进行生成式美化。训练时只对被遮位置计算像素重建损失；原论文还讨论 patch 像素归一化等实现条件。重建是否像原图与预训练表征是否能迁移分类，是需要分别评价的两个问题。

来源：MAE v3，Figure 2 与 §3。

相关的完整阅读材料保留原有公式、引用和原始图解。

MAE预训练的大encoder处理可见子集，小decoder结合mask token重建；下游保留encoder，输入全图，去除重建decoder，再微调和评测。两条路径在相同encoder处接续。

与本页直接相关的完整材料

• N17 · 训练时补图，之后拿走的是哪一部分？：原图、逐态说明与已校准推导。

条件、推导与来源

N17 · 训练时补图，之后拿走的是哪一部分？

MAE 的大 encoder 仅处理可见图像块。编码表示与 mask token 一起交给较小的重建 decoder，生成像素预测。下游分类保留 encoder，去掉重建 decoder，输入完整图像的全部 patch，添加分类头，进行带标签微调与独立评测。本结构图采用方法常见的 75% 遮挡说明，不将上页示例的 80% 混进方法配置。重建 decoder 与上一讲翻译 decoder 的接口不同。

来源：MAE v3，物理 p.1 Figure 1 与 §3。

相关的完整阅读材料保留原有公式、引用和原始图解。

按MAE v3 Table3重绘，保留原表核对入口。训练图片池与验证集分开，224评测与448结果分开，同文对照与等计算实验分开。

与本页直接相关的完整材料

• N18 · 先立参照：同一批训练图片，从头训练能做到什么？：原图、逐态说明与已校准推导。
• N19 · 先学重建，再做分类，大模型的收益更明显：原图、逐态说明与已校准推导。

条件、推导与来源

N18 · 先立参照：同一批训练图片，从头训练能做到什么？

指标是独立 ImageNet 验证集上的分类 top-1，输入分辨率统一为 224×224。两条训练路线共享 ImageNet-1K 训练图片池，但验证集与训练图片池分开。论文 Table 3 的从头监督训练基线为 B/16 82.3、L/16 82.6、H/14 83.1；B/L/H 代表不同模型规模，H 的 patch 尺寸也为 /14，不能把跨规模图读成严格只改一个参数的实验。

来源：MAE v3，物理 p.7 Table 3 / Figure 8。

相关的完整阅读材料保留原有公式、引用和原始图解。

N19 · 先学重建，再做分类，大模型的收益更明显

MAE 后微调成绩为 83.6、85.9、86.9，与从头监督训练逐模型差值为 1.3、3.3、3.8 个百分点。MAE 额外预训练 1600 epoch；共同使用训练图片池不等于等计算。ViT-H/448 的 87.8 使用不同分辨率，不混入本图 224 比较。

原表保留供核对配置；主屏曲线按 Table 3 重绘，不是新实验。

来源：MAE v3，Table 3；本课按原表重绘。

相关的完整阅读材料保留原有公式、引用和原始图解。

分类分数告诉我们训练后的表示能否转用于任务，却不能直接说明网络内部的单元在区分什么。要继续追问，需要观察具体输入引起的内部响应。接下来的猫与汽车例子换用InceptionV1：这是另一个模型上的机制证据，不是对刚才MAE模型的内部审计。

与本页直接相关的完整材料

• GF01 · 分数提高了，内部究竟学出了什么？：原图、逐态说明与已校准推导。

条件、推导与来源

GF01 · 分数提高了，内部究竟学出了什么？

N19 的 85.9% 是 MAE 预训练后 ViT-L 在给定分类微调设置下的 top-1 准确率；与同模型从头监督训练的 82.6% 相差 3.3 个百分点。额外 1600 epoch 预训练仍计入比较条件。这一结果支持容量能够被训练利用，不直接说明哪一个中间单元在做什么。

本段使用 Goodfire 文章中的 InceptionV1、作者自训的 ConvNeXt，以及文中语言模型案例。这里不是对前一页 MAE 的逐层机制验证。我们沿作者的观察和修正过程学习四类证据：自然输入上的响应、可视化工具产生的图、连接与干预，以及新的检验例。作者将其整体主张表述为工作假说；局部观察与全网判断分开。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

这里展示作者选取的自然照片：猫来自 p47742，汽车来自 pCarX5。二者均是原文 InceptionV1 单元 4e:55 的正响应例子。照片不是本课生成的，也不是激活热图。层名 4e 与单元编号 55 用于定位研究对象，编号不代表语义标签。

作者曾参与的旧解释把它看成猫与车的多义混合；重新观察后修正了这个判断。本页先保留旧困惑，是为了让下一页的局部结构真正改变解释，而不是先给答案再找图片。这里没有把两张选例当作全部响应分布。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 v-figure。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

本页全图中的圆框、下一态的局部放大均按照原图交互给定的位置和三倍放大参数。圆框是原图的响应区域定位，不是本课算出的热图；颜色也不是激活值色标。原图未在此提供逐像素热图，不凭空绘制一幅。

猫与汽车局部都支持“尖形／V 形”的候选读法，但只有两张图还不够。作者给出的台球桌与新干线例子跨越了动物／车辆的常用类别，扩大了候选解释要覆盖的范围。泛化可能沿几何结构发生，而不是按人的名词表发生。新的自然例仍是作者选取的检验例，本课没有独立进行盲测。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 v-figure。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

原文同时展示 4e:55 的正、负侧。正侧的尖形与负侧的圆形是相对同一单元、原文所测响应量的两端，不是在宣称 ReLU 后输出为负。本课遵从原文“pushes it negative”的说法；理解时必须区分非线性前信号与经过整流后的输出。

上游节点为 4d:493（尖嘴）、4d:477（尖耳脸）、4d:201（车辆前部）；下游为 5a:94（火焰、消防船水柱与狐脸）、5a:352（尖脸）、5a:317（长嘴与 V 形杯）。本课保留这些节点与方向，线宽在每一侧按原图元数据相对缩放。输入侧 data-w 为 0.321/0.031/0.029；读出侧为 38.3/34.1/22.1，原图提示分别是 drive 比例与去掉 4e:55 后下降量，口径不同，不跨两侧比较粗细，也不当作完整网络全部边。

优化图负责提出候选，自然例说明其实际响应，上下游关系检查这个区分如何被构建与使用。几类证据相互制约，是支持作者解释的理由；不是仅凭箭头存在就宣称全网机制已经证明。同一原图的自然照片、局部定位与精选连接按问题顺序展开，完整证据与原图来源仍可继续核对。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 v-figure。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 汽车为什么会经过看起来像“狗”的单元？
• 模型更大，共享的姿态一定会被拆开吗？
• 同一个神经元，换显微镜会看到什么？
• 工具改进之外，网络本身也会影响观察
• 神经元在放行什么，又挡住什么？
• 从石墙、屋顶，走到修道院响应
• 删掉弱响应，丢的是哪种信息？
• 地图要落到同一个真实节点

原图对象为从头训练的 InceptionV1末层单元338、使用相同数据和训练配方并含LayerNorm与残差的ConvNeXt末层单元399。原图包含epoch0.7、1.5、3、6、12；本页课堂先读0.7、1.5、12三个固定状态，完整中间轨迹与图例见下方本地原图。每行图组背后的灰带表示该组占神经元最强响应例的份额；主屏只选真实照片定位观察，不重画没有复算的比例曲线。

InceptionV1最初主要响应油菜花田与山谷，花田里也有狗；随后到球、果实、狗，后来延伸到西兰花。ConvNeXt也短暂触及球和水果，但随后保留田野主线，分枝较少。这是两个实际记录的案例，不是所有单元必然遵循的定律。

补充材料中的iy→diy→do it yourself是原文概念插图的中文重排；这里不声称拥有语言模型的训练checkpoint。文章 Watching Neurons Develop 描述沿重训InceptionV1追踪坐标，作者也记录曾因缩放不当误以为出现任意混合。附录 Relation to Conjoined Features 承认2021年Multimodal Neurons已有从共享侧面向多方向泛化的线索；新命名突出多层分枝与发展过程。本文尚未完成整模型的严格发展审计。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 neuron-overflow。 原图／段落 recursive-generalization。 原图／段落 conjoined-features。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

与本页相关的深入阅读

A16｜训练轨迹怎样帮助检验分枝

重训 InceptionV1 suffix 的图让同一坐标按 checkpoint 并排显示，优化图下方配最强响应处的自然裁剪。它能区分一个成品单元里的邻近反应是怎样逐步出现的；但观察尺度错误仍可能把轨迹看成任意混合。作者临近发布时再次误调显微镜的经历，是提醒我们保留自然例、位置与工具设置，而不是为了一个发展故事挑几张顺眼的图。

原文 Watching Neurons Develop · 完整训练显微镜 · GF09

A24｜递归泛化与 conjoined features 的关系

Multimodal Neurons 已描述从共同侧面向多个方向泛化的 conjoined features。本文承认这一先行观察，并选择“递归泛化”强调分枝还能再分枝、过程发生于生长而不是两个静态概念被接起来。早期只有成品，曾猜是训练早期的残留；后来的视觉轨迹显示分枝还会继续生长。名称变化本身不是新证据，应把发展记录和概念解释分别保留。

原文 Relation to Conjoined Features · GF09

A26｜怎样让“递归泛化”自身也可以失败

一个有约束的递归泛化解释应预测语义空间中的局部来路、分枝方向及训练次序，而不是见到任何两个响应都补一个共同祖先。本文承认没有严谨证明所有重度多义例都如此，也没有大语言模型所需的完整 checkpoint。成品上的路径一致性可以增加信心，但要确证发展因果仍需要时序数据。保留这一限制，才能避免把“任意打包的空隙解释”换成另一个无所不包的故事。

原文 Is Recursive Generalization Hard to Vary? · GF09 · GF24

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 模型更大，共享的姿态一定会被拆开吗？
• 工具改进之外，网络本身也会影响观察
• 规模变了，区分的粒度也变了吗？
• 罕见、看错与故意教错，是同一回事吗？
• 规模变大：同一耳朵家族怎样细化？

语言分枝的概念示意：iy → diy → do it yourself；这张图不是语言模型训练的checkpoint。

本文重点质疑的superposition是一个组织假说：不相关的计算因为很少干扰，任意共用神经元容量。它不同于“可描述的特征多于维度”，也不同于向量相加、多个神经元共同完成任务或普通组合式表示。前一节联想记忆的条件化容量推导没有因此被推翻。

原图packing-vs-growing用32个图形作概念对照：相近颜色与形状代表相近对象；减少神经元时，一边按相似性形成较粗组，另一边把不相干项打包。本课只重画这个对照的精选组，标明示意，不伪装模型测量。共享带来的干扰成本和复用收益可以并存；仅有特征数与维数的比较不能回答为何这些具体计算共用同一个单元。

正文Superposition of the Gaps保留三个观察盲点。其一，某单元看似同时响应pr、Base64网址与孟加拉文字，解码／转写后仍与pr相关。其二，某Qwen单元看似响应逗号，完整上下文显示它跟踪Colorado，逗号是上下文摘要位置；作者还通过steering观察到徒步相关生成。其三，只给两段文本会让长上下文机制显得没有主题，完整前文可能改变解释。这些是作者研究案例，不是本课实验；也不意味着任何未解释例都必有漂亮答案。

附录 A Note on Superposition 与 A Note on Features and Definitions 区分计数命题、组织命题与词义变迁。作者认可Toy Models在其预设特征和重建目标下的实验，争论真实网络中共享的复用收益是否被这些设定覆盖。不能把本文写成Toy Models实验已被证伪。尚不能解释的响应应当保留为未知；工具、数据覆盖和发展关系都是可进一步检验的候选原因。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 packing-vs-growing。 原图／段落 superposition-of-the-gaps。 原图／段落 features-and-definitions。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

与本页相关的深入阅读

A01｜superposition 到底是哪一个命题

同一个词曾指向向量叠加、特征数超过维数、分布式组合，以及因很少相撞而把无关计算放在一起。本文重点质疑最后一种作为真实网络难解释性的默认原因，尤其是它对神经元如何生长的解释。特征数量超过维数也可以来自有用组合；残差流没有特权坐标基，也不能单独证明任意打包。评价本文必须先固定所谈命题，而不是把它当作否定所有同名理论。

原文 A Note on “Superposition” · GF10

A20｜特征、机制与组织不是同义词

人类关心的一种概念、网络自己的可复用计算构件、SAE 中一个字典方向，都可能被叫作 feature，却不是同一个对象。给猫、车、V 各计一个特征还是只计 V，会改变“特征数”，不一定改变网络。本文因此优先追问什么被什么读取、为什么响应会同处一处。字典仍可作为有用视图；只有确实存在妨碍理解的原生组织问题时，才需要论证替换机制的成本值得承担。

原文 A Note on Features and Definitions · GF10 · GF28

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 把一层从 480 个通道压到 10 个，会怎样？
• 没找回细曲线，究竟说明了什么？
• 如果把瓶颈放到最后一层呢？
• 换成 SAE 字典，会多看见什么？

三个命题的完整对齐与pr／编码／转写案例、Colorado与长上下文观察盲点。

输入、位置与研究对象

本页采用原文轮播中的 Scar 案例，模型为 Qwen3-32B 的原生 MLP 神经元，不是前面 MAE，也不是 Claude 的 transcoder。原始提问描述市立图书馆密室失窃，唯一线索是一张留言卡：署名是“Pride Lands 中后来成为国王的幼狮的死敌”，并要求只答名字。图中给出的实际回答前缀是 The person responsible is **，接下来要预测 Scar。因此分析的对象有明确的输入与输出位置，而不是一般性地声称网络“理解狮子王”。

原图把单元按解释汇成组，方框内数字是神经元数。所示组包括 Pride Lands 词语组（6）、狮子／草原（11）、The Lion King（7）、Disney and Africa（8）、字母 scar（2）、反派（5）及 sworn enemy（3）。线宽编码组间贡献强弱；蓝边表示与答案方向相反的贡献。图里的聚合边不是一条新增的物理连线，也不是每个节点到答案都只起促进作用。原文的选图和分组用于把复杂归因图讲清楚，不是完整模型结构。

删除中介，和什么比较

作者删除 The Lion King 与 Lions, savanna 两组，共 18 个神经元。下一个目标 token Scar 的概率约为 0.24，回答转向 Simba；同层、同数量随机删除的对照约为 0.91。原图未删除时的精确值为 0.9057，指定删除为 0.2378。这个比较支持这些单元在当前输入上的作用，不能单凭结果推出它们是唯一通路，或所有《狮子王》问题都由同样 18 个单元解决。Simba 是有结构的错误，也比随机名字更提示中间步骤出了问题。

与原文医疗图的关系

原文先将 Claude 3.5 Haiku 的跨层 transcoder 图与 Qwen3-32B 原生神经元图对照。两模型、表示方法不同；因此不能把差异量化成哪种方法普遍更优。Qwen 医疗案例中删除四个诊断枢纽单元后询问转向另一种症状，展示的是同类“追踪—删除—看回答改变”的研究动作。本课改以无需医学背景的 Scar 案例作为主讲，医疗图与原文完整轮播保留为来源入口。

能检测，不等于模型实际使用

附录 Social Security: Detection and Use 回查一个由三个神经元组成的短语 probe。probe 可以准确检测 Social Security，但沿模型实际下一 token 计算所追到的路线包含词汇延续、表格字段、退休及输出单元，还存在 Social Security 与 401(k) 的竞争。研究者展示的是筛查 31 个单元中的 11 个；图中数值是删除单元后目标 log probability 变化的求和，负值意味着删除有害。检测器的成功不能自动当作模型使用那个方向作决定的证据。

来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，preeclampsia-circuit。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 神经元在放行什么，又挡住什么？
• 一个神经元的负侧，可能藏着真正的工作
• 名字很多，是否就必须打包进隐蔽空间？
• 模型更大以后：一张选例图能告诉我们多远？
• Attention：看哪里，还要问搬了什么

Blind maximum 的信息隔离

第一位 agent 可以调查神经元，形成短解释；第二位只看到这段解释，看不到单元本身、原始高激活例和其他内部细节，写出一个预期会最大激活它的新句子。然后才测量模型响应。图中 Qwen3-32B L8/N5247 的解释围绕不可数名词 action 表示“参与行动、正在起作用”的用法。第二位写了棒球替补投手在 11 个赛季中参与 412 场比赛的句子，峰值 token 为 action。原文显示 100 亿 token 搜索中找到的最佳例约 15.0，这个新句子约 18.4。二者是同一单元的激活量，不是百分比或概率。

原轮播另一例为 L56/N6360：请求到达负责方后，接下来是“我们正在处理”的谓语。新句子写软件支持团队确认能重现通知故障，停在 The devs are，激活约 99.5，对应语料中最佳为 82.0。它也提示我们，响应位置可能是即将出现某种表达之前，而非在某个主题名词上。

为什么中心命中不等于广度覆盖

生成一个强例可以说明解释抓住了至少一个中心区域，却不能排除还有第二份工作。作者进一步按输入到该单元的归因聚类，在宠物芯片例中分出动物标记、走失宠物／救助、microchip／RFID 等上游束。对每束分别做盲构造，同时消融其他束，并与相同消融条件下的最强语料例比较。这样比一次中心命中覆盖更多方向，但仍不是全域完备证明。

不能用单一分数取代批评

“猫或车”这种解释可能在很多预测测试里得高分，却仍漏掉 V 形机制；观察火焰输入或反极就能击中其弱点。有效的反驳往往针对具体解释。Blind maximum 是一种预先约束信息、再测量的办法，与后面 near miss、消融和上游检查互补。

来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，blind-maximum。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

完整说明：第二个新例、上游分束与覆盖范围。

同一解释的命中与近失配

本页换到另一个单元；前页 action 的中心命中与这里的边界测试不属于同一单元。主图单元是 Qwen3-32B L36/N15664，解释为“东西或人已经答应给某一方，但尚未交付”，即 spoken for。命中句写小马还没出生，饲养者就已许诺给某马厩；near miss 保留小马、马厩与出生前的情境，却改成把母马送到马厩，并没有许诺归属。原图给这两个文本前缀报告的响应分别为最强语料例的 81% 与 20%。第二对葡萄酒预售约定与已经出售的例子为 43% 与 16%。

这些百分数是激活值相对于该单元最强语料例的比例，既不是答案概率，也不是“81%的句子理解正确”。两句只换关键条件，是为了减少用大类主题就能蒙对的可能，但仍不能证明唯一机制。

文本前缀与测量位置

原图的两个英文片段都止于 for，葡萄酒例止于 at；这就是原文提供的展示内容，不在课堂替实验续写。原文正文、图注和该对例子的HTML没有明确标出峰值token、token索引或取值位置，因而只能核定文本展示与相对激活读数，不能把最后一个词直接宣布为测量位置。

主图与完整样本的两个分母

主图展示最初 20 个单元；每个解释生成 5 个命中新例与 5 个近失配，因此各 100 条。以达到最强语料例的 30% 为强响应阈值，命中有 81/100，近失配 8/100；20 个单元的均值比较都在命中侧更强。

附录的完整测试从 gallery 随机取 200 个单元，其中 183 个解释描述正侧进入这一口径：命中新例强响应约 76%，近失配约 11%；逐单元比较赢 164、平 15、输 4。不能把主图的 81%／8%当成全部 183 单元的结果，也不能悄悄删除失败的 4 个。

这个测试不能单独解决 superposition

一个真正同时做 X 或 Y 的单元，也可能把“不属于 X 或 Y”的近失配拒绝得很好。因此 near miss 检查的是边界，不单独判定概念为什么共处。作者还让 agent 构造尽可能遥远的概念，每单元 5 条，这些文本强响应约 1%；183 个单元中有 179 个在这些文本上从未强响应。但“agent 想到的远概念”仍不是整个可能输入空间。

好的解释要接受多种批评：中心新例、相近反例、远概念、符号分区、上游构成和实际干预。本文据这些结果提出组织机制假说，仍不把它们变成全模型的完备证明。

来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，explanations-could-lose。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。

与本页相关的深入阅读

A12｜近失配、遥远概念和盲测中心各检验什么

从 gallery 随机抽 200 个单元后，183 个解释描述正侧。agent 先只读解释，分别写五个应该激活的新例和五个近失配，再测响应；达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%，按单元计赢 164、平 15、输 4。主图展示前 20 个，81/100 对 8/100 是这个子集的数字，不能与整体混写。

近失配检查语义边界，却不能独自区分“X 或 Y”的任意打包；它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念，约 1% 达强响应，179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生；没有一个单分数替代其余工作。

原文 Explanations That Could Lose · GF23 · GF24

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

前20个单元的子集与完整统计对照画面。此处保留两个分母供核对；本页课堂统计只使用183个正侧解释口径。

Qwen3-32B 初步审计的口径

原文开头明确说 neuron poles：约 90% 有一个主要工作，常伴随相关小分枝；另约 7% 有两个相关工作；约 2—4% 尚未理解。正文有时简写为 neurons，本课按更明确的 poles 口径呈现。它们是作者的粗略估计，阈值与“一个工作”的粒度会影响结果；各项近似数不应硬凑到 100%。这不是全部参数的解释比例，也不是各种输入上的机制覆盖率。

深层、弱激活阈值、上游子电路密度、跨语言近义表达是否合并，都改变评定。例如 Titanic 的弱响应可能延伸到航行、蒸汽机或时代背景；有时工具只看向前上下文，漏掉单元在提示下一个 boat token。作者另称少量深入样本的强激活下约 97% 为非任意混合；这个更小、选择更深的集合不替代总体估计。

1000 篇神经元小论文是什么

原站提供随机选择的 1000 个单元的详细研究页，帮助检查具体解释。它们是可打开的研究材料，不意味着每一篇都经过相同强度的穷尽验证，也不等于所有单元。正文中的比例与每个图的对象范围应分别读。

历史比较，不画精确进步曲线

2023 年 OpenAI 自动解释项目在 GPT-2 XL 上宽松口径也不到 2% 可解释。作者这次用近乎不迭代的流程再写 500 篇单元研究，约 70% 看起来有一个粗略工作、约 5% 很纯；但评分协议不同。更好的工具、研究者对 motif 的认识和模型架构／规模都可能影响可读性，不能用“2→70→90”折线宣称一次控制实验的进步。

原文对 2023 Towards Monosemanticity 某个被称为混合学术引用、对话、HTTP、韩文的单元提出“不要接句点”的替代解释：负 logit 连接多与句点有关，韩文例位于音节未完成处。但作者没有那个模型继续实验，韩文也可能是第二个相关模式，因此这里只能保留候选解释，不能宣布旧例已彻底解决。

Simulation scores 为什么不是唯一裁判

附录认为，精确模拟每个激活值会同时考验注意力把信息放在哪个标点、弱响应衰减率，以及解释模型输出精确数值的能力。一个解释可能抓住机制，却因这些因素得分低；反过来“猫或车”也可能模拟得不错却漏掉 V 形结构。模拟分数可作为一种指标，但不替代具体新例、近失配与因果实验。

归因图审计的范围

附录报告 agent 阅读 100,000 张归因图，作者亲自检查数千张图像与语言图。作者尚未发现一个大组的联合活动持续无法解释，但明确把这视作定性证据，认为当前工具不足以换成精确“清晰度分数”。一个可信反例就可能明显改变其判断。因此“研究仍在继续”体现在具体可改变结论的例子和测量协议里，不是泛泛一句保留意见。

来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，language-models。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。

与本页相关的深入阅读

A02｜模拟激活分数为什么不等同于解释质量

模拟器要预测精确数值，也要猜注意力把信息放在哪个标点上。一个解释可能抓住了单元的主要判断，却不擅长预测物体缩小时激活下降的精确速率；反过来，一个“猫或车”的预测器也可能在原例上得分很好，却错过 V 形。作者建议把模拟分数当成若干检验之一，并配新例、近失配与干预；这不是说数值预测没有用途，而是计分目标与研究问题必须对齐。

原文 On Simulation Scores · GF25

A11｜大量归因图审阅建立了什么证据

作者让 agent 审阅约 100,000 张归因图，并亲自检查数千张视觉与语言图；他报告很多异常在辨认新的模式后消失，尚未找到一个仍无法解释的重要单元群。但作者明确把它看作定性证据，没有把现有工具的结论压成可信“清洁率”。审阅数量不等于无偏样本、统一协议或完整覆盖；真正有力的反例仍可能改变判断。

原文 Audits of Attribution Graphs · GF25

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 删掉弱响应，丢的是哪种信息？
• 一个神经元的负侧，可能藏着真正的工作
• 残差流：轨迹图怎样才有解释力？
• 地图要落到同一个真实节点

约7%与约2–4%的完整近似分类、阈值与工作粒度、GPT-2 XL历史协议对照。

主文 Unresolved / counterevidence；附录 On the Title。作者约85%的数字是对其总体机制判断的主观信念，不是逐神经元解释覆盖率。

与本页相关的深入阅读

A19｜保留一个没有完全解释的反应

InceptionV1 mixed5a:719 会响应中间收窄的领结、蝴蝶、泳衣上部，也响应伴随它们的礼鞋、沙滩包和拖鞋。作者倾向于把它读成共同形状加语义残留，因为早层共享通路；但他没有完全解释这些例外。课程保留这个对象，是为了让“还不知道”可以落在一组实际反应上，而不是被一个足够宽的名字抹掉。

原文 Unresolved Responses · GF30

A22｜规模推断为什么仍是一项假说

作者把两件事分开：旧模型混乱的经典解释是否成立，以及任意打包会不会在下一规模出现。后一项没有由前一项直接排除。他的猜想是更成熟的相关电路更容易吸引新知识，罕见事实则沿相关通路生长，因而规模增大可能加强组织而非任意打包。可检验的预测是承载罕见事实的单元与注意力头应和事实内容有关。原文明确没有证明这一发展机制，不能据此保证更大模型永远更清楚。

原文 Does Scale Help or Hurt Superposition? · GF28 · GF30

A23｜怎样读一个比证据更大胆的标题

作者没有完成所有网络的全审计。他说约 85% 确信的是“几乎所有机制可能来自这一类组织过程”的假说，而不是报告“85% 神经元已解释”。标题表达的是对生成机制的判断变化，不能用作清洁率、正确率、安全性或对齐程度的测量。本文的有力之处在具体案例与可继续检查的方法；它的雄心仍需更多模型、协议和反例承受。

原文 On the Title · GF30

A25｜分枝较弱，是否就可以不管

作者目前观察到的旁枝通常较罕见，在各自语境中也较少具有主干那样大的因果作用，因此不像罕见但极关键的隐藏机制。这是经验判断，并非保证；它还提出未知的抑制过度生长压力。研究上有价值的是能够解释旁枝的来路与作用，而不是仅统计 top-k 与一个标签吻合多少。若出现少见却影响巨大的分枝，就应更新这一判断。

原文 Why We’re Not Worried About Recursive Generalization · GF21 · GF30

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 从可解释案例，走向可执行研究

观察、机制与作者信念的完整区分。

本页先回收记忆装置、MAE任务结果和Goodfire局部机制各自回答的问题，再明确返回MAE encoder的计算对象。校车遮挡图沿用MAE Figure 2的原图证据，X与W图形只定位计算关系，没有新增模型测量。

本课既有 N11–N19 与后续 N20。此桥接图为教学定位图；校车图沿用本课 MAE Figure 2 既有证据资产，不引入新模型结果。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 分数提高了，内部究竟学出了什么？

进一步阅读

• 同一组已知输入，可以一起做哪些运算？：原图、推导与逐态解释

条件与来源

以下从计算对象、条件与原始证据继续展开。

原 N20：同一组已知输入，可以一起做哪些运算？

同一投影作用于已知输入的许多行，可实现为大矩阵乘法。GPU 矩阵计算单元及 CUDA、Triton 等实现层负责组织具体执行；它们不改变数据依赖。图像 encoder 与因果文本模型可共用部分矩阵算子，但可见性规则不同。算子内的位置并行不能取消 attention、MLP 与层之间的先后依赖。

来源：Transformer 矩阵计算；L5 T34。

相关的完整阅读材料保留原有公式、引用和原始图解。

进一步阅读

• 整段在手，不等于每一行都能偷看答案：原图、推导与逐态解释

• 长度翻倍，哪一块工作会接近四倍？：原图、推导与逐态解释

条件与来源

以下从计算对象、条件与原始证据继续展开。