本页学习说明
输入、位置与研究对象
本页采用原文轮播中的 Scar 案例，模型为 Qwen3-32B 的原生 MLP 神经元，不是前面 MAE，也不是 Claude 的 transcoder。原始提问描述市立图书馆密室失窃，唯一线索是一张留言卡：署名是“Pride Lands 中后来成为国王的幼狮的死敌”，并要求只答名字。图中给出的实际回答前缀是 The person responsible is **，接下来要预测 Scar。因此分析的对象有明确的输入与输出位置，而不是一般性地声称网络“理解狮子王”。
原图把单元按解释汇成组，方框内数字是神经元数。所示组包括 Pride Lands 词语组（6）、狮子／草原（11）、The Lion King（7）、Disney and Africa（8）、字母 scar（2）、反派（5）及 sworn enemy（3）。线宽编码组间贡献强弱；蓝边表示与答案方向相反的贡献。图里的聚合边不是一条新增的物理连线，也不是每个节点到答案都只起促进作用。原文的选图和分组用于把复杂归因图讲清楚，不是完整模型结构。
删除中介，和什么比较
作者删除 The Lion King 与 Lions, savanna 两组，共 18 个神经元。下一个目标 token Scar 的概率约为 0.24，回答转向 Simba；同层、同数量随机删除的对照约为 0.91。原图未删除时的精确值为 0.9057，指定删除为 0.2378。这个比较支持这些单元在当前输入上的作用，不能单凭结果推出它们是唯一通路，或所有《狮子王》问题都由同样 18 个单元解决。Simba 是有结构的错误，也比随机名字更提示中间步骤出了问题。
与原文医疗图的关系
原文先将 Claude 3.5 Haiku 的跨层 transcoder 图与 Qwen3-32B 原生神经元图对照。两模型、表示方法不同；因此不能把差异量化成哪种方法普遍更优。Qwen 医疗案例中删除四个诊断枢纽单元后询问转向另一种症状，展示的是同类“追踪—删除—看回答改变”的研究动作。本课改以无需医学背景的 Scar 案例作为主讲，医疗图与原文完整轮播保留为来源入口。
能检测，不等于模型实际使用
附录 Social Security: Detection and Use 回查一个由三个神经元组成的短语 probe。probe 可以准确检测 Social Security，但沿模型实际下一 token 计算所追到的路线包含词汇延续、表格字段、退休及输出单元，还存在 Social Security 与 401(k) 的竞争。研究者展示的是筛查 31 个单元中的 11 个；图中数值是删除单元后目标 log probability 变化的求和，负值意味着删除有害。检测器的成功不能自动当作模型使用那个方向作决定的证据。
来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，preeclampsia-circuit。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。
阅读完整讲义