打开已经训练好的网络：怎样提出、检验和修正内部机制解释
分类成绩告诉我们模型在规定测试中做得怎样，却没有告诉我们内部怎样做到。Goodfire 的 Nick Cammarata 在 2026 年的《Neural Networks Are Already Clean》中回头检查自己参与解释过的视觉案例，再把观察方法带到语言模型。本节沿着这条发现过程走：先看到解释上的困难，再改变观察方式，再检查新解释有没有预测力。下面的实验结果均来自原文；本课程没有重训或独立复现这些模型。
这不是对前面 MAE 的逐层解释。主讲先后使用 InceptionV1、本文自训 ConvNeXt、DINOv2 和若干 Qwen、Kimi 案例。模型、输入、图像类型与干预条件必须分别读取。本节也不否定第一节给定条件下的联想记忆容量分析：容量能承载多少关联、训练带来多少任务收益、实际机制是否容易解释，回答的是不同问题。
从 GF01 开始课堂 · 保留的猫与车 P05 阅读 · 回到 N19 的分类结果 · 回到 N20 的矩阵计算
原文入口：交互文章 · 全文文本。本篇按问题保留正文及全部附录的实质内容；准确图例、全部切换状态和作者后续更新以链接的原图为准。
从猫和车开始：物体名字为什么可能误导
InceptionV1 的 4e:55 曾被当成猫脸与汽车的混合。若只把最强响应的整张照片贴上名词标签，这确实像两个不相干的类别。但模型响应的是照片中的某个区域；猫脸、车头、火焰和消防船水柱可能包含相似的尖状构型。作者重新检查局部、负极以及上下游连接，提出 V 形解释；负极的圆形 O 又对这个解释增加了一项约束。
形状解释也不能只靠“看着像”。它应该说明更多类别的新例为什么响应，为什么相反形状不响应，以及哪些上游输入提供了这种区分、哪些下游使用它。原图的框、热图和优化图承担不同工作：框定位被读的区域，热图显示测得的空间响应，优化图显示在某种优化目标下怎样激活单元。它们不能互相冒充。
第二个旧例是汽车信息经过看起来像狗的节点。问题出在自由优化得到的神经元图标：优化容易走进狗的路线，并不代表自然汽车输入实际走了同一路线。沿自然图路径轻推优化后，四个读出者中两个呈现汽车，两个呈现跨车与狗的共同姿态。本文据此修正了自己早期把它解释成任意打包的判断。这里有用的学习动作是重新检查观察工具，而不是把每一幅优化图都丢掉。
GF02–04 的猫与车 · GF05 的优化路线 · 原图 V · 原图汽车电路
工具、训练与架构是三种不同的比较
同一单元换可视化设置，回答的是观察工具能否改善可见性；同一架构重新训练，改变了训练过程；换成参数量相近的现代 ConvNeXt，又同时改变了架构。不能把三者画成同一次实验中三个可相加的因果贡献。原文对 InceptionV1 晚层从约 5%、到更好工具下约 50%、现代训练下约 70%、相近规模 ConvNeXt 约 99% 的叙述，是作者跨设置的粗评，不是统一量表下的一条精确进步曲线。
本文自训 ConvNeXt 的 small、medium、large 分别约 92k、7.06M、28.6M 参数，跨度约 300 倍；这些名称不应自动套到公开标准系列的同名配置。更大模型往往有更细的区分，但跨类别姿态仍然存在，因而“共享”本身不能证明网络是在被迫挤占空间。
观察分枝，与为分枝编一段历史不同
作者重训 InceptionV1 并观察 checkpoint，看到某些单元从油菜花田逐渐扩到相邻的颜色、物体和场景；改进架构中的对应单元更能保持最初主题。这些是训练时序记录。文章用 iy、diy、do it yourself 解释递归泛化时，则同时使用了概念分枝示意和成品模型的路径证据。没有相应 checkpoint 的大语言模型，不能把这种解释画成已经录像证明的训练时间轴。
“地质”与 Cesium JavaScript 库的例子也说明分枝需要沿上游路线查：名词列表看着不同，可能共享背景；但 Srinivasen 与 UniProt 的弱联系只是作者提出的候选联系，不能写成已确认因果。
空间真的变小以后，哪些区分会留下
把 InceptionV1 的 mixed3b 从 480 个通道减到 10 个并从头重训，是主动改变容量的干预；该结构没有残差绕行。作者报告在 50,000 张 ImageNet 验证图上 top-1 为 58.35%、top-5 为 81.14%。保留下来的响应更宽，例如不同方向的曲线汇为较粗的曲线与环路，而不是原先十个窄方向探测器的简单缩小版。自然例排名来自另外扫描的训练图片，不能把展示样例称作验证集成绩本身。
接着要问：细曲线是不是藏在多个通道的组合里？作者在压缩层训练 TopK SAE，640 个字典特征、每位置 2 个激活，用 200,000 张训练图片的 25.6 million 个位置。它解释 held-out 位置 82% 的方差，但插入模型后，在同一 10,000 张验证图片子集上的 top-1 从 58.8% 降到 43.0%。最相似的 SAE 曲线仍较宽、常在相反方向响应；不同字典大小与稀疏度也没有找回原来的完整窄区分。这约束了“只是藏起来”的解释，但 SAE 自身的重建与性能代价意味着不能据一次没找到宣告任何编码绝不存在。
另一个干预把 medium ConvNeXt 的末层从 1,024 个单元压到 13 个，从头重训，并控制残差绕行。它与在已训练模型里删除单元不同，也与下面保留残差的弱激活消融不同；课堂在 GF14A 单独对照。原文这个图没有给出可直接照抄的任务准确率，阅读时不补造。
GF13–14 · GF14A 末层压缩 · 压缩层 · SAE 检查及完整条件 · 末层 13 单元
从响应图走向电路、字典与错误
单元的正侧和负侧可以为下游作区分。ReLU 网络的负侧指非线性截断前的加权和方向，不是 ReLU 输出变负。真实跑车的路径图逐列挑出对下一节点贡献最大的单元；晚层 monastery 图则聚合多个自然样例的精选连接，每个节点配优化图与自然例。前者也不是完整网络，后者尤其不能当作一张输入的完整归因链。
SAE 可以给出有用的另一种视图。本文末层字典中约 88% 的活动接近单神经元复制，其余较弱；删除不匹配任何单元的字典方向后，所测准确率没有变化，少量改变落在原本接近的选项上。这不是“88% 字典条目可解释”，也不是 SAE 对所有研究问题都没有价值。字典在某张图“有什么”上的描述，与网络实际怎样构造区分，是两种用途。
错误也会使用可辨识的机制。异常图可能被正常通路误读；把一张伞照片故意训成蜜蜂则是另一个实验。7.06M 参数模型经过九个训练步骤，首选从伞经过五月柱转为蜜蜂；末三个 block 的替换足以使原模型也给出蜜蜂。这支持旧路径被改接的解释，不能推出所有错误和记忆都已解释。
GF11–12 · GF15–17 · 晚层聚合电路 · SAE 字典 · 伞到蜜蜂
弱激活、语言路径与可以失败的解释
弱激活是否重要，首先取决于在哪层、按什么阈值、删除什么量。主文 medium ConvNeXt 的对照同时操作全部 18 个 block：删最弱 75% 后准确率约 72% 到 71%，约十分之一答案变化；删掉总激活量与它相当的最强约 7% 后，准确率约 72% 到 4%，约 96% 答案变化。弱侧改变多见于原先接近的类别。但附录明确保留不能把这些有限检查升级为弱激活的一般语义定理。
迁移到语言时，先固定完整上下文与预测位置，再看信息经过哪些单元。Scar 案例没有直接出现名字：Pride Lands 引出 Lion King／Simba，再到敌人。删除 18 个中介单元后 P(Scar) 为 0.24；同层同数随机删除对照为 0.91，模型转答 Simba。Santa 的关键响应在负极：删去 8 个相关负极单元，P(Santa) 为 0.059，同样匹配的随机对照为 0.997。不能只靠自动标签中的 Christmas 或 Santa 来判断哪些单元真正有用。
语言图中箭头表示所选归因，不等于一个人类故事的全部因果。Kimi K3 钱包例是大模型上的选例；Qwen3.6 的 10,240 个专家地图是 agent 依据单元摘要评价主题后排序；两者不是一次完整审计，也不能拼成“全部万亿参数已理解”。
好解释必须承担失败的可能。Blind maximum 让第二个 agent 只看解释、不看神经元和原例，构造新输入再实测；它检验解释抓住的中心。近失配输入故意保留相似措辞、拿走关键条件，检验边界。两种测试互补，仍需上游、下游与干预证据。
GF18 · GF19–22 · GF23–25 · 语言案例 · 盲测中心
从局部表示到地图，再回到计算
二维地图能帮助发现组织关系，但它首先是一种观察。残差流图会选择样本、处理大坐标、对齐不同 stage 并降维；地图中的接近不是自动获得的因果证明。注意力的局部信息路线能够说明什么被搬到哪个位置，也不等于每个头都已有一个可靠全局名字。原文主动承认 attention 的研究比神经元少。
本节最后把单元放回模式家族、局部电路和全网地图。一个解释若只是一张名字表，很难随着新问题变细；若能从高层返回原始节点、输入和可干预路线，就可以持续修正。作者据此提出自动科学家实验室的愿景，尚未证明所有前沿模型可按同一方法完整解决。
然后回到本课原来的计算对象：MAE encoder 接收的可见 patch 表示。内部组织怎样形成，与完成训练和读取需要多少矩阵计算、显存和搬运，是相接的两个问题。
附录深入阅读：把每个问题继续讲清楚
以下对应原文全部附录，保留它们提出的问题、方法、结果与边界。每项可以从对应课堂页的本页说明继续进入，也可以独立阅读；回课链接使用稳定页 ID。
A01｜superposition 到底是哪一个命题
同一个词曾指向向量叠加、特征数超过维数、分布式组合，以及因很少相撞而把无关计算放在一起。本文重点质疑最后一种作为真实网络难解释性的默认原因，尤其是它对神经元如何生长的解释。特征数量超过维数也可以来自有用组合；残差流没有特权坐标基，也不能单独证明任意打包。评价本文必须先固定所谈命题，而不是把它当作否定所有同名理论。
原文 A Note on “Superposition” · GF10
A02｜模拟激活分数为什么不等同于解释质量
模拟器要预测精确数值，也要猜注意力把信息放在哪个标点上。一个解释可能抓住了单元的主要判断，却不擅长预测物体缩小时激活下降的精确速率；反过来，一个“猫或车”的预测器也可能在原例上得分很好，却错过 V 形。作者建议把模拟分数当成若干检验之一，并配新例、近失配与干预；这不是说数值预测没有用途，而是计分目标与研究问题必须对齐。
原文 On Simulation Scores · GF25
A03｜晚层优化图怎样受自然路径约束
自由优化只问怎样提高目标激活，可能进入自然输入很少走的路径。本文利用强自然例的路线，给优化一个沿这些路线走的激励；有时只在前 64 步这样做就足够离开“狗盆地”。作者没有宣称找到唯一最优配方。对 4c:447 的四个读出者，应同时读自由优化、路径引导优化和自然汽车输入的连接；一条成功路线仍不是一个单元的全部用途。
原文 Feature Visualization in Later Layers · 自然输入完整路径 · GF05
A04｜SwiGLU 的正输出为什么有两种来源
SwiGLU 的输出是 $a=\operatorname{SiLU}(g)\,v$。这里的有效门是经过 SiLU 的值；当门与 value 都为负，乘积仍为正。因此只按乘积排序，可能把双正和双负来源放进同一个正侧列表。Qwen3.6 的 L36/E206/N103 抽样 750 个分位分层例子，626 个保留 routing；p75–p99 中 131/133 为双负，而 p99.99 及以上 93/93 为双正。该局部审计与主文 Qwen3-32B L1/N20736 的示例不是同一个单元。本节四格表只说明符号分区；GF20 展示的 Colossians 与 russian 数值则来自原图的具体测量，两种材料分别读取。
把四个符号区间分开后，观察规则就明确了：
| 有效门 $\operatorname{SiLU}(g)$ | value $v$ | 乘积 $a$ | 需要另外检查什么 |
|---|---|---|---|
| 正 | 正 | 正 | 正侧正常路线的自然输入 |
| 正 | 负 | 负 | value的负侧及后续输出权重 |
| 负 | 正 | 负 | 小的负门是否只留下弱响应 |
| 负 | 负 | 正 | 是否把另一条来源混进正侧列表 |
SiLU满足 $\operatorname{SiLU}(g)=g\sigma(g)$，其中 $\sigma(g)=1/(1+e^{-g})$。负的 $g$ 不会被严格截成零，因此双负乘积可能出现。这里按运算符号分区；最终对某个答案的支持或抑制还取决于后续读出权重，不能从 $a>0$ 直接推出“支持该答案”。
原文 Separating the Sign Regimes · GF20
A05｜去掉投影中的坐标，是否就是改变模型
不是。附录用同一批 4,000 个图像位置，对比把坐标 112 保留或移出投影的两张图，再用该坐标原值着色；记录的网络激活没有改变。一个大坐标可能通过 LayerNorm 调节其余坐标的尺度，主导几何图的外观。投影调整帮助看见结构，但若要声称该坐标对任务有什么因果功能，还要另做模型干预。附录的 readout lenses 也只是定位计算变化的观察工具，置信度与出现时点会随 lens 改变。
标准 LayerNorm 的形式能帮助理解为什么一个坐标会影响其余坐标：
$$ \mu=\frac1d\sum_{i=1}^{d}h_i,\qquad \sigma_h^2=\frac1d\sum_{i=1}^{d}(h_i-\mu)^2,\qquad \operatorname{LN}(h)_i=\gamma_i\frac{h_i-\mu}{\sqrt{\sigma_h^2+\epsilon}}+\beta_i. $$
某个大坐标改变均值和尺度，因而即便下游很少直接读它，仍可能间接调节其余分量。公式只解释这种机制为什么可能；原文特定坐标的实际作用还依赖该模型的测量。把它从绘图输入拿走，不会自动改变模型计算中的均值、方差或答案。
原文 Looking at the Residual Stream · GF26
A06｜弱激活补测必须保留层与残差条件
附录的表格每一行只干预一层，ConvNeXt 的底行才是全部 18 个 block 一起干预。Inception 操作正 ReLU 值；ConvNeXt 操作 SwiGLU 乘积的幅度，并保留残差绕行。Inception 末层只保留约最强四分之一正激活时，准确率为 69.47%，原来为 70.08%。这不能推出全网也可同样删除：medium 与 large 的全部 block 使用 p99 截断后分别只剩 3.80% 与 27.78%。语义方面，enemy 单元的弱响应从敌对词扩到战斗、游戏与竞争，近零处普通文本更多；作者承认只有个别深查与抽查，还没有可信的一般语义测试。
原文 Weak Activations: Further Measurements · GF18
A07｜“找到了更多曲线”可能是什么
Missing Curves 的争论在于 SAE 发现的是新的基本构件，还是原有曲线响应单元的组合。本文示例将三个 SAE 曲线拆回既有单元，落在曲线单元方向上的比例为 97.5%、98.0%、97.2%；这是特定分解结果，不能改称整层可解释率。只用曲线激活训练的 100k 字典使用了约 84k 条目，说明可以得到很多组合。组合真实存在，但条目多不自动证明基本构件同样多。这个实验与 GF14 压缩层的 SAE 搜索是两个不同问题。
A08｜对抗输入经过哪些旧路线
ConvNeXt 的三角龙头骨被攻击成美洲豹时，六个头骨相关单元安静下来，真实美洲豹会使用的输入以约正常强度四分之一被激活。另一项 InceptionV1 实验采用更大的 32/255 扰动预算，并要求攻击经得起平移抖动、缩放和旋转；头骨边缘出现猫脸与斑点，十个预先按真实美洲豹响应挑选的单元里九个明显增强。两个模型的实验不能拼成一次干预；变化发生在图像，权重固定。作者把它读作优化复用已有路线的证据，尚不足以证明全部对抗例的来源。
原文 Where Adversarial Examples Go · GF17
A09｜背诵是否只是一条直接输出连接
Qwen3.6-35B-A3B 续写“Once upon a midnight”时，Poe、midnight 与文学上下文共同参与。删除 Poe 单元，dreary 首 token 概率由 87% 到 50%；只移除它在输出端的直接贡献仍有 85%。恢复下游文学单元部分救回到 57%，说明上游的作用包括影响后续计算。另一次保存的实验在 gate 超过普通文本 99.9 百分位时把单元输出置零，Psalm 23 背诵瓦解，而按数量或幅度匹配的随机干预仍保留经文；部分算术和摘要能做，编码等也退化。不能据此称为选择性删除全部记忆的通用方法。
原文 Memorization and Composition · GF17 · GF21
A10｜探针能检测到，模型是否真的使用
Social Security 的三单元探针能识别短语，不代表模型必须用该方向决定后续 token。本文将三个单元解释为词、名字和短语续写的共同响应，再沿真正影响输出的路线找到词汇、表单、退休和输出相关单元，以及 Social Security 与 401(k) 的竞争。图只展示筛查 31 个单元中的 11 个；数值是逐单元删除时目标 log probability 变化的加总，负值表示删除伤害目标，正值表示删除帮助目标。探针的可读性、可预测性和模型实际使用要分开。
原文 Social Security: Detection and Use · GF21
A11｜大量归因图审阅建立了什么证据
作者让 agent 审阅约 100,000 张归因图，并亲自检查数千张视觉与语言图；他报告很多异常在辨认新的模式后消失，尚未找到一个仍无法解释的重要单元群。但作者明确把它看作定性证据，没有把现有工具的结论压成可信“清洁率”。审阅数量不等于无偏样本、统一协议或完整覆盖；真正有力的反例仍可能改变判断。
原文 Audits of Attribution Graphs · GF25
A12｜近失配、遥远概念和盲测中心各检验什么
从 gallery 随机抽 200 个单元后，183 个解释描述正侧。agent 先只读解释，分别写五个应该激活的新例和五个近失配，再测响应；达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%，按单元计赢 164、平 15、输 4。主图展示前 20 个，81/100 对 8/100 是这个子集的数字，不能与整体混写。
近失配检查语义边界，却不能独自区分“X 或 Y”的任意打包；它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念，约 1% 达强响应，179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生；没有一个单分数替代其余工作。
原文 Explanations That Could Lose · GF23 · GF24
A13｜边上的共同模式为什么值得研究
作者分解 25,000 张 ImageNet 归因图，得到原生单元之间反复出现的连接模式，例如茶壶电路。96 个边模式与 96 个激活因子对照时，前者更能预测哪些图像会受对应单元消融影响。这里的抽象仍能返回真实节点和连接，因此适合从局部走向地图；它不是声称每一种矩阵分解都获得完整因果图。
A14｜从一张图开始，泛化还是记忆先出现
作者的解释假说是：已有的宽模式更容易获得梯度、吸收剩余误差，随后继续被复用。单张拉布拉多照片训练出的网络主要迁移了深色和绿色，不能说它从一张图真正学懂狗。十种类别各给一张照片的实验在新图上约五分之一正确、约为机会水平两倍；颜色匹配也差不多好。这支持很弱的早期迁移，不是强 one-shot 识别。原文也保留 grokking 等任务中记忆先占优的例外，不能把发展猜想宣布为统一定理。
原文 Why Networks Generalize · GF31
A15｜两个网络竞争，不等于网络内部电路竞争
Circuit Racing 把预训练网络与空白网络放在共享目标下，观察前者吸走大部分贡献，后者学习有限；虚线表示各自单独学，金色带表示共享目标分配的贡献。图给出两项选定比较和各个 seed。这个整体模型层面的干预展示先发优势，却不能直接证明单一网络内部所有电路也按完全相同机制竞争；后者仍是作者的解释方向。
A16｜训练轨迹怎样帮助检验分枝
重训 InceptionV1 suffix 的图让同一坐标按 checkpoint 并排显示，优化图下方配最强响应处的自然裁剪。它能区分一个成品单元里的邻近反应是怎样逐步出现的；但观察尺度错误仍可能把轨迹看成任意混合。作者临近发布时再次误调显微镜的经历，是提醒我们保留自然例、位置与工具设置，而不是为了一个发展故事挑几张顺眼的图。
原文 Watching Neurons Develop · 完整训练显微镜 · GF09
A17｜toy model 的结论可以带到哪里
作者认可 Toy Models of Superposition 在自身设定中的实验，并未声称它们算错。争论在于该重建设定为每个预定义特征计入干扰成本，却较少包含真实网络中下游复用共同结构的收益。本文给出两个补充 toy：共享对角线单元被不同任务读成圆和四角；另把 20 个输入分成四个共同激活组，经过五维瓶颈并加入隐层，相关输入更常共同生长，输入变密时更接近 PCA-like 结构。它们说明设定会改变答案，不能用任何一个小玩具模型宣告真实大网络必然如此。
原文 Toy Models · GF10 · GF31
A18｜电路生态解释有什么可检验部分
作者猜想已有相关部件与读出者有学习速度优势，新的相关误差先被它们捕获，较不相关的候选路线失去梯度。独立单元的形成可能尤其有利于被下游继续构造，而非仅仅把答案推向输出。手工安装任意打包编码的实验经常因干扰而失败；成功的部分多随训练减弱，也有保留。人工施工能力有限，所以这一尝试不是不可能性证明。更强的检验应比较匹配的学习轨迹和因果作用。
原文 More on Circuit Ecology · GF28 · GF31
A19｜保留一个没有完全解释的反应
InceptionV1 mixed5a:719 会响应中间收窄的领结、蝴蝶、泳衣上部，也响应伴随它们的礼鞋、沙滩包和拖鞋。作者倾向于把它读成共同形状加语义残留，因为早层共享通路；但他没有完全解释这些例外。课程保留这个对象，是为了让“还不知道”可以落在一组实际反应上，而不是被一个足够宽的名字抹掉。
原文 Unresolved Responses · GF30
A20｜特征、机制与组织不是同义词
人类关心的一种概念、网络自己的可复用计算构件、SAE 中一个字典方向，都可能被叫作 feature，却不是同一个对象。给猫、车、V 各计一个特征还是只计 V，会改变“特征数”，不一定改变网络。本文因此优先追问什么被什么读取、为什么响应会同处一处。字典仍可作为有用视图；只有确实存在妨碍理解的原生组织问题时，才需要论证替换机制的成本值得承担。
原文 A Note on Features and Definitions · GF10 · GF28
A21｜让另一个模型解释激活，会替代机制研究吗
Meta-model 直接读取另一个模型的激活并给出解释，可能有比逐单元研究更好的高层用途。本文没有给这类方法做全面比较，而是提出兼容关系：把它当地图的最高层，再沿其判断追查具体单元与电路。高层说得对，与其内部证据可以追溯，是两个需要各自检验的要求。
原文 Relation to Meta-Models · GF31
A22｜规模推断为什么仍是一项假说
作者把两件事分开：旧模型混乱的经典解释是否成立，以及任意打包会不会在下一规模出现。后一项没有由前一项直接排除。他的猜想是更成熟的相关电路更容易吸引新知识，罕见事实则沿相关通路生长，因而规模增大可能加强组织而非任意打包。可检验的预测是承载罕见事实的单元与注意力头应和事实内容有关。原文明确没有证明这一发展机制，不能据此保证更大模型永远更清楚。
原文 Does Scale Help or Hurt Superposition? · GF28 · GF30
A23｜怎样读一个比证据更大胆的标题
作者没有完成所有网络的全审计。他说约 85% 确信的是“几乎所有机制可能来自这一类组织过程”的假说，而不是报告“85% 神经元已解释”。标题表达的是对生成机制的判断变化，不能用作清洁率、正确率、安全性或对齐程度的测量。本文的有力之处在具体案例与可继续检查的方法；它的雄心仍需更多模型、协议和反例承受。
A24｜递归泛化与 conjoined features 的关系
Multimodal Neurons 已描述从共同侧面向多个方向泛化的 conjoined features。本文承认这一先行观察，并选择“递归泛化”强调分枝还能再分枝、过程发生于生长而不是两个静态概念被接起来。早期只有成品，曾猜是训练早期的残留；后来的视觉轨迹显示分枝还会继续生长。名称变化本身不是新证据，应把发展记录和概念解释分别保留。
原文 Relation to Conjoined Features · GF09
A25｜分枝较弱，是否就可以不管
作者目前观察到的旁枝通常较罕见，在各自语境中也较少具有主干那样大的因果作用，因此不像罕见但极关键的隐藏机制。这是经验判断，并非保证；它还提出未知的抑制过度生长压力。研究上有价值的是能够解释旁枝的来路与作用，而不是仅统计 top-k 与一个标签吻合多少。若出现少见却影响巨大的分枝，就应更新这一判断。
原文 Why We’re Not Worried About Recursive Generalization · GF21 · GF30
A26｜怎样让“递归泛化”自身也可以失败
一个有约束的递归泛化解释应预测语义空间中的局部来路、分枝方向及训练次序，而不是见到任何两个响应都补一个共同祖先。本文承认没有严谨证明所有重度多义例都如此，也没有大语言模型所需的完整 checkpoint。成品上的路径一致性可以增加信心，但要确证发展因果仍需要时序数据。保留这一限制，才能避免把“任意打包的空隙解释”换成另一个无所不包的故事。
原文 Is Recursive Generalization Hard to Vary? · GF09 · GF24
A27｜多个注意力头共同工作是否就是本文批评的现象
Useful information 可以分布在多个头中，这与“无关计算因不干扰而任意打包”不是同一命题。作者承认 attention 理解仍不足，不能断言该领域已排除了后一种可能。一个层内的局部路线常由两三个头承担主要工作，但路线横跨多层；研究单头、动态局部群组或全局分解，仍应按问题和证据选择。本文倾向局部路线，并没有完成对所有头的命名和解释。
原文 Relation to Attention Superposition · GF27
A28｜神经科学类比与作者动机放在哪里
作者坦承不是神经科学家，把人工网络中的泛化、组合和误差信号是否可迁移到脑作为猜想。他强调，即便人工网络可复制、干预、跑大量样本，解释也走过很多弯路，因此不能轻率把有限生物观测读成某种机制结论。结尾关于让 agent 更理解自身的愿望，是研究动机和价值判断，不是人工网络实验推出的脑科学或意识结论。
原文 Neuroscience, and Why I Care · GF31
来源、先行工作与继续阅读
全文署名为 Nick Cammarata，语言研究段与 Curt Tigges 合作。作者感谢许多合作者与早期工作的贡献，同时声明观点与错误由自己负责；课程不把致谢理解为被致谢者认可全部主张。完整 Prior work 与 References 保留原文索引，可按下面的问题继续找一手材料。
- 早期可视化与电路：Olah 等，Feature Visualization；Zoom In；Cammarata 等，Curve Detectors。
- 组合与不同 superposition 定义：Elhage 等，Toy Models of Superposition；Olah，Distributed Representations: Composition & Superposition；Goh 等，Multimodal Neurons。
- 自动解释与字典：Bills 等，Language Models Can Explain Neurons in Language Models；Bricken 等，Towards Monosemanticity；Gorton，The Missing Curve Detectors。
- 归因图与注意力：Ameisen 等，Circuit Tracing；Lindsey 等，On the Biology of a Large Language Model；Jermyn 等，Progress on Attention。
- 机制、记忆和尺度：Geva 等，Transformer Feed-Forward Layers Are Key-Value Memories；Gurnee 等，Finding Neurons in a Haystack；Arora 等，Language Model Circuits Are Sparse in the Neuron Basis。
这些链接是继续核对相关争论的入口，不表示本课程另行复现了每篇实验。本文原图保留原作者权利，课堂使用、裁剪或重排均按相应页的来源说明标明；没有把它们重新标成开放许可。
建议引用：Cammarata, N. (2026). Neural Networks Are Already Clean. Goodfire. https://already-clean.goodfire.com/
把这个问题带进实验
打开对应 Notebook 后，找到下列同名小节。各本的准备说明、已有输出和证据边界保留在本册中。