返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

Attention:看哪里,还要问搬了什么

本页问题

本页延续原文 Qwen3-32B 案例,只分析信息传递,不进行医学判断。目标位置是 headache 后的逗号,目标量是某个神经元的激活,不是诊断正确率或模型输出概率。

GF27/b0 · 先看到注意力

… pain, mildheadache,and nausea …L30H8 · H11 · H14看哪里?headache → 逗号还要问什么?读取内容 · 写入对象注意力权重 0.66–0.93,只说明位置关系Qwen3-32B 主文案例 · 内部神经元激活,非诊断准确率或概率
先看到注意力

看这段输入中的 headache 和它后面的逗号。三个第三十层注意力头在这里读回 headache,注意力权重约为零点六六到零点九三。到这里,我们只知道位置关系。逗号位置为什么需要这段信息?它读取的是字面词形、症状相关内容,还是别的东西?光看箭头回答不了。

进一步解释

原数据头为 L30H8、L30H11、L30H14;三个头在目标逗号位置读取 headache。页面箭头示意传递方向,不按数值比例编码权重。

教师备课:指图与模拟问答

指图与推进 · 不朗读指 headache,再指逗号;用箭头说明源位置与目标位置,不讲医学结论。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF27/b1 · 追问读写内容

… pain, mildheadache,and nausea …L30H8 · H11 · H14headache / migrainebrain 相关写入三个注意力头读取残差方向L31/N5482preeclampsia · 45.5向后看来源,向前看用途;标签是可修改的解释Qwen3-32B 主文案例 · 内部神经元激活,非诊断准确率或概率
追问读写内容

沿读入方向往前追,作者发现这些方向上有 headache、migraine、brain 相关神经元的写入。沿输出方向往后追,主要落到被解释为 preeclampsia 的 L31/N5482,也影响 eclampsia 和 hypertension 相关神经元。这个解释现在同时连接了位置、内容和下游用途。我们没有因为头看着 headache 就给它起一个万能的“头痛头”名字。

进一步解释

来源为 L3/N5424(headache)、L10/N13522(migraine)、L25/N3322(brain);主要目标 L31/N5482,另有 L35/N3336、L33/N9390。原交互 links 是源位置神经元输出经过所有头、一跳直达目标的一级效应,不能把所有 link 值误归到这三个头,也不能把神经元名当诊断结论。

教师备课:指图与模拟问答

指图与推进 · 不朗读按来源神经元→三个头→目标神经元走一遍;强调目标激活 45.5 是内部数值。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF27/b2 · 用对照限制结论

… pain, mildheadache,and nausea …L30H8 · H11 · H14阻止读 headache45.5 → 34.5阻止读 pain45.5 → 45.75静默源 headache 单元45 → 30.25目标激活有特定下降;局部有效 ≠ 所有头已解释Qwen3-32B 主文案例 · 内部神经元激活,非诊断准确率或概率
用对照限制结论

现在做更有区分力的检查。阻止这几个头看 headache,目标神经元从四十五点五降到三十四点五,约下降四分之一;改成阻止它们看 pain,几乎不变。在源位置压低 headache 相关神经元,也使目标下降。特定路线具有因果作用,但三个头只承载从 headache 经 attention 传来内容的一部分,其他内容分散在第二十四到三十层。局部解释成功不能换成“全部注意力都解释完了”。

进一步解释

原数据第三检查为源 headache 神经元静默:45.0→30.25,基线与前两条略有不同;图中分开显示,不能直接计算成同一套差分。附录讨论 Attention Superposition 时,作者承认多头群协作有价值,并未证明一个头对应一个稳定全局功能。

教师备课:指图与模拟问答

指图与推进 · 不朗读先比较两条干预条形,再指出第三条源神经元干预。最后让学生用一句话说明对照排除了什么、没有排除什么。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

接下来

该局部路线有归因及特定干预支持;作者明确表示 attention 的研究进展少于神经元,尚未形成覆盖所有头的统一命名。

补充推导、边界与来源

主文 Attention 与 attn-reads 原交互数据。附图 attn-mutual 的题注写 Qwen3-32B,代码注释写 Qwen3.6-35B-A3B,存在内部标签冲突,因此不把那组惯用语案例当作本页的模型确定证据。

与本页相关的深入阅读

A27|多个注意力头共同工作是否就是本文批评的现象

Useful information 可以分布在多个头中,这与“无关计算因不干扰而任意打包”不是同一命题。作者承认 attention 理解仍不足,不能断言该领域已排除了后一种可能。一个层内的局部路线常由两三个头承担主要工作,但路线横跨多层;研究单头、动态局部群组或全局分解,仍应按问题和证据选择。本文倾向局部路线,并没有完成对所有头的命名和解释。

原文 Relation to Attention Superposition · GF27

本页证据与条件

Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。

进入主题正文