完整深入材料 · 保留原页与全部停点。回到相关主讲
“约九成可解释”,分母究竟是什么?
本页问题
我们已经看过一个个可以被干预或反例挑战的机制,现在才有条件读原文的总体比例,而不把它当作整网理解进度条。
GF25/b0 · 先看统计单位
原文给出约九成这个数字时,统计的是 Qwen3-32B 的 neuron poles,神经元的正侧或负侧。前面 Santa 已经告诉我们,漏掉负侧会连重要工作都认错。所以这里不是“九成参数已理解”,也不是“九成问题的推理过程都解释了”。它说的是被审计对象中,一个侧向是否能用一个主要工作及相关分枝来描述。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指pole口径,再显示90/7/2–4三类;不画总进度条。
本态来源与条件
Goodfire · language-models · 原文实验/图数据;据原图重排
GF25/b1 · 谁在决定“一个工作”
同一个神经元在 Titanic 强例上很明确,弱一点可能带出航行与蒸汽机;跨语言近义用法算一件还是两件,也会改变计数。这里的关键问题是分枝为什么在一起,而不是把数字做得尽量高。前面的新例、近失配和干预,让我们知道这种解释不是只有一句宽泛的名字;但总体比例仍压缩了很多判断。
教师备课:指图与模拟问答
指图与推进 · 不朗读读“弱激活阈值/层别/工作粒度”三个具体变化因素,回指Santa和near miss。
本态来源与条件
Goodfire · language-models · 原文实验/图数据;据原图重排
GF25/b2 · 历史数字不能拼成进步曲线
再看历史比较。旧项目在 GPT-2 XL 上不到百分之二,如今同模型重新做五百个单元研究,约七成看起来有一个粗略工作。但作者自己说评分不相同,真正很纯的约百分之五。我们因此可以讨论工具和研究理解改变了多少,而不能画一条二到七十再到九十的精确进步曲线。带着这种读数字的方法,下一页换一个对象:不是单个神经元,而是整段表示在残差流里的位置。
教师备课:指图与模拟问答
指图与推进 · 不朗读并排读GPT-2 XL两个不同协议,强调同模型可比对象与不可直接相减的评分。
本态来源与条件
Goodfire · language-models · 原文实验/图数据;据原图重排
接下来
神经元的审计并不覆盖表示空间的所有结构。下一页转向残差流,重新检查投影图究竟让我们看见了什么。
补充推导、边界与来源
Qwen3-32B 初步审计的口径
原文开头明确说 neuron poles:约 90% 有一个主要工作,常伴随相关小分枝;另约 7% 有两个相关工作;约 2—4% 尚未理解。正文有时简写为 neurons,本课按更明确的 poles 口径呈现。它们是作者的粗略估计,阈值与“一个工作”的粒度会影响结果;各项近似数不应硬凑到 100%。这不是全部参数的解释比例,也不是各种输入上的机制覆盖率。
深层、弱激活阈值、上游子电路密度、跨语言近义表达是否合并,都改变评定。例如 Titanic 的弱响应可能延伸到航行、蒸汽机或时代背景;有时工具只看向前上下文,漏掉单元在提示下一个 boat token。作者另称少量深入样本的强激活下约 97% 为非任意混合;这个更小、选择更深的集合不替代总体估计。
1000 篇神经元小论文是什么
原站提供随机选择的 1000 个单元的详细研究页,帮助检查具体解释。它们是可打开的研究材料,不意味着每一篇都经过相同强度的穷尽验证,也不等于所有单元。正文中的比例与每个图的对象范围应分别读。
历史比较,不画精确进步曲线
2023 年 OpenAI 自动解释项目在 GPT-2 XL 上宽松口径也不到 2% 可解释。作者这次用近乎不迭代的流程再写 500 篇单元研究,约 70% 看起来有一个粗略工作、约 5% 很纯;但评分协议不同。更好的工具、研究者对 motif 的认识和模型架构/规模都可能影响可读性,不能用“2→70→90”折线宣称一次控制实验的进步。
原文对 2023 Towards Monosemanticity 某个被称为混合学术引用、对话、HTTP、韩文的单元提出“不要接句点”的替代解释:负 logit 连接多与句点有关,韩文例位于音节未完成处。但作者没有那个模型继续实验,韩文也可能是第二个相关模式,因此这里只能保留候选解释,不能宣布旧例已彻底解决。
Simulation scores 为什么不是唯一裁判
附录认为,精确模拟每个激活值会同时考验注意力把信息放在哪个标点、弱响应衰减率,以及解释模型输出精确数值的能力。一个解释可能抓住机制,却因这些因素得分低;反过来“猫或车”也可能模拟得不错却漏掉 V 形结构。模拟分数可作为一种指标,但不替代具体新例、近失配与因果实验。
归因图审计的范围
附录报告 agent 阅读 100,000 张归因图,作者亲自检查数千张图像与语言图。作者尚未发现一个大组的联合活动持续无法解释,但明确把这视作定性证据,认为当前工具不足以换成精确“清晰度分数”。一个可信反例就可能明显改变其判断。因此“研究仍在继续”体现在具体可改变结论的例子和测量协议里,不是泛泛一句保留意见。
来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,language-models。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。
与本页相关的深入阅读
A02|模拟激活分数为什么不等同于解释质量
模拟器要预测精确数值,也要猜注意力把信息放在哪个标点上。一个解释可能抓住了单元的主要判断,却不擅长预测物体缩小时激活下降的精确速率;反过来,一个“猫或车”的预测器也可能在原例上得分很好,却错过 V 形。作者建议把模拟分数当成若干检验之一,并配新例、近失配与干预;这不是说数值预测没有用途,而是计分目标与研究问题必须对齐。
原文 On Simulation Scores · GF25
A11|大量归因图审阅建立了什么证据
作者让 agent 审阅约 100,000 张归因图,并亲自检查数千张视觉与语言图;他报告很多异常在辨认新的模式后消失,尚未找到一个仍无法解释的重要单元群。但作者明确把它看作定性证据,没有把现有工具的结论压成可信“清洁率”。审阅数量不等于无偏样本、统一协议或完整覆盖;真正有力的反例仍可能改变判断。
本页证据与条件
Goodfire · language-models · 原文实验/图数据;据原图重排