从一段文字，追到一个下一词
本页问题
在 Qwen3-32B 的一个保存案例中，输入用“Pride Lands 中后来成为国王的幼狮的死敌”暗指 Scar。归因图追踪指定下一词位置；随后比较未删除、删除作品与狮子背景两组，以及同层同数量随机删除，检验这两组是否实际影响预测。
RG19/b0 · 先弄清输入与下一词
这次换成 Qwen3-32B。图书馆失窃，卡片只说：Pride Lands 中后来成为国王的幼狮的死敌。这里的幼狮是辛巴，他的死敌是刀疤 Scar；这不是电影知识测试，我们把人物关系先交代清楚。输入没有直接写 Scar。模型已经写到画面中的回答前缀，即将接出名字，我们追的就是这个指定位置怎样形成答案。
进一步解释
舞台保留原文关键留言、提问和实际回答前缀。中文人物关系是为理解任务而补的背景，不是原输入额外出现了Simba或Scar。后续测量始终对应这次输入与Scar下一token。
教师备课：指图与模拟问答
指图与推进 · 不朗读先读中文案情，再指原英文关键卡片；补足辛巴／刀疤关系后，停在真实回答前缀与下一token空位。
本态来源与条件
Goodfire · preeclampsia-circuit · 原文实验／图数据；据原图重排
RG19/b1 · 沿真实节点读一次路线
从底部 Pride Lands 线索往上，先进入作品与狮子背景的两个组，再与反派、死敌等信息共同走向答案。请沿图实际走一遍。方框数字是神经元数，线宽表示这张归因图里的贡献；蓝边是相反方向的贡献。内部数值取正还是负，与最后促进还是抑制答案，还要结合读出关系。作者把复杂活动分组后展示，我们沿真实节点读，不替图添一条更顺口的路线。现在特别留意作品与狮子背景这两组，合起来十八个单元。
进一步解释
原图JSON中lk组为The Lion King、7个神经元，lions组为Lions, savanna、11个。金框与同源放大只定位这两组，不增添Simba节点。线宽为分组贡献，蓝边为相反方向贡献，不能用单元激活符号直接代替对答案的净贡献。
教师备课：指图与模拟问答
指图与推进 · 不朗读先沿左侧整图从底部Pride Lands到作品／狮子背景，再向上读到Scar；第二遍沿金框与引线，指右侧同源放大的The Lion King 7个、Lions/savanna 11个，合计18；回左图指蓝边。不补造Simba神经元。
本态来源与条件
Goodfire · preeclampsia-circuit · 原文实验／图数据；据原图重排
RG19/b2 · 删除中介，比较匹配对照
现在在原图同一位置标出要删除的两组：The Lion King七个，Lions与savanna十一个，共十八个。未删除时，当前下一词Scar的概率约零点九一；指定删除后降到约零点二四，实际回答转为Simba。同层、同数量随机删除，Scar仍约零点九一。删除规模相近而影响不同，支持这两个中介组确实参与本次计算。它仍是当前输入和位置的局部证据。接下来再问：解释能不能在测量之前预测一个新的输入？
进一步解释
原图数据outs[0].p为0.9057；ko.ids=[lk,lions]，ko.p.scar为0.2378。原文配文给同层同数量随机删除约0.91，没有为它提供更精确小数。舞台红叉是对原归因图的干预定位标记，不是重新测得的删除后归因边。三种条件都读P(Scar)，而非准确率。
教师备课：指图与模拟问答
指图与推进 · 不朗读延续b1整图位置，用红叉定位原图两中介组；从右侧未删除→指定删除→匹配随机三项读P(Scar)，不把删除标记当作新测归因边。
本态来源与条件
Goodfire · preeclampsia-circuit · 原文实验／图数据；据原图重排
接下来
让解释先预测一个尚未测量的新输入。
补充推导、边界与来源
输入、位置与研究对象
本页采用原文轮播中的 Scar 案例，模型为 Qwen3-32B 的原生 MLP 神经元，不是前面 MAE，也不是 Claude 的 transcoder。原始提问描述市立图书馆密室失窃，唯一线索是一张留言卡：署名是“Pride Lands 中后来成为国王的幼狮的死敌”，并要求只答名字。图中给出的实际回答前缀是 The person responsible is **，接下来要预测 Scar。因此分析的对象有明确的输入与输出位置，而不是一般性地声称网络“理解狮子王”。
原图把单元按解释汇成组，方框内数字是神经元数。所示组包括 Pride Lands 词语组（6）、狮子／草原（11）、The Lion King（7）、Disney and Africa（8）、字母 scar（2）、反派（5）及 sworn enemy（3）。线宽编码组间贡献强弱；蓝边表示与答案方向相反的贡献。图里的聚合边不是一条新增的物理连线，也不是每个节点到答案都只起促进作用。原文的选图和分组用于把复杂归因图讲清楚，不是完整模型结构。
删除中介，和什么比较
作者删除 The Lion King 与 Lions, savanna 两组，共 18 个神经元。下一个目标 token Scar 的概率约为 0.24，回答转向 Simba；同层、同数量随机删除的对照约为 0.91。原图未删除时的精确值为 0.9057，指定删除为 0.2378。这个比较支持这些单元在当前输入上的作用，不能单凭结果推出它们是唯一通路，或所有《狮子王》问题都由同样 18 个单元解决。Simba 是有结构的错误，也比随机名字更提示中间步骤出了问题。
与原文医疗图的关系
原文先将 Claude 3.5 Haiku 的跨层 transcoder 图与 Qwen3-32B 原生神经元图对照。两模型、表示方法不同；因此不能把差异量化成哪种方法普遍更优。Qwen 医疗案例中删除四个诊断枢纽单元后询问转向另一种症状，展示的是同类“追踪—删除—看回答改变”的研究动作。本课改以无需医学背景的 Scar 案例作为主讲，医疗图与原文完整轮播保留为来源入口。
能检测，不等于模型实际使用
附录 Social Security: Detection and Use 回查一个由三个神经元组成的短语 probe。probe 可以准确检测 Social Security，但沿模型实际下一 token 计算所追到的路线包含词汇延续、表格字段、退休及输出单元，还存在 Social Security 与 401(k) 的竞争。研究者展示的是筛查 31 个单元中的 11 个；图中数值是删除单元后目标 log probability 变化的求和，负值意味着删除有害。检测器的成功不能自动当作模型使用那个方向作决定的证据。
来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，preeclampsia-circuit。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。
继续沿这个问题阅读
本页证据与条件
Goodfire · preeclampsia-circuit · 原文实验／图数据；据原图重排