本页学习说明
Qwen3-32B 初步审计的口径
原文开头明确说 neuron poles：约 90% 有一个主要工作，常伴随相关小分枝；另约 7% 有两个相关工作；约 2—4% 尚未理解。正文有时简写为 neurons，本课按更明确的 poles 口径呈现。它们是作者的粗略估计，阈值与“一个工作”的粒度会影响结果；各项近似数不应硬凑到 100%。这不是全部参数的解释比例，也不是各种输入上的机制覆盖率。
深层、弱激活阈值、上游子电路密度、跨语言近义表达是否合并，都改变评定。例如 Titanic 的弱响应可能延伸到航行、蒸汽机或时代背景；有时工具只看向前上下文，漏掉单元在提示下一个 boat token。作者另称少量深入样本的强激活下约 97% 为非任意混合；这个更小、选择更深的集合不替代总体估计。
1000 篇神经元小论文是什么
原站提供随机选择的 1000 个单元的详细研究页，帮助检查具体解释。它们是可打开的研究材料，不意味着每一篇都经过相同强度的穷尽验证，也不等于所有单元。正文中的比例与每个图的对象范围应分别读。
历史比较，不画精确进步曲线
2023 年 OpenAI 自动解释项目在 GPT-2 XL 上宽松口径也不到 2% 可解释。作者这次用近乎不迭代的流程再写 500 篇单元研究，约 70% 看起来有一个粗略工作、约 5% 很纯；但评分协议不同。更好的工具、研究者对 motif 的认识和模型架构／规模都可能影响可读性，不能用“2→70→90”折线宣称一次控制实验的进步。
原文对 2023 Towards Monosemanticity 某个被称为混合学术引用、对话、HTTP、韩文的单元提出“不要接句点”的替代解释：负 logit 连接多与句点有关，韩文例位于音节未完成处。但作者没有那个模型继续实验，韩文也可能是第二个相关模式，因此这里只能保留候选解释，不能宣布旧例已彻底解决。
Simulation scores 为什么不是唯一裁判
附录认为，精确模拟每个激活值会同时考验注意力把信息放在哪个标点、弱响应衰减率，以及解释模型输出精确数值的能力。一个解释可能抓住机制，却因这些因素得分低；反过来“猫或车”也可能模拟得不错却漏掉 V 形结构。模拟分数可作为一种指标，但不替代具体新例、近失配与因果实验。
归因图审计的范围
附录报告 agent 阅读 100,000 张归因图，作者亲自检查数千张图像与语言图。作者尚未发现一个大组的联合活动持续无法解释，但明确把这视作定性证据，认为当前工具不足以换成精确“清晰度分数”。一个可信反例就可能明显改变其判断。因此“研究仍在继续”体现在具体可改变结论的例子和测量协议里，不是泛泛一句保留意见。
来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，language-models。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。
与本页相关的深入阅读
A02｜模拟激活分数为什么不等同于解释质量
模拟器要预测精确数值，也要猜注意力把信息放在哪个标点上。一个解释可能抓住了单元的主要判断，却不擅长预测物体缩小时激活下降的精确速率；反过来，一个“猫或车”的预测器也可能在原例上得分很好，却错过 V 形。作者建议把模拟分数当成若干检验之一，并配新例、近失配与干预；这不是说数值预测没有用途，而是计分目标与研究问题必须对齐。
原文 On Simulation Scores · GF25
A11｜大量归因图审阅建立了什么证据
作者让 agent 审阅约 100,000 张归因图，并亲自检查数千张视觉与语言图；他报告很多异常在辨认新的模式后消失，尚未找到一个仍无法解释的重要单元群。但作者明确把它看作定性证据，没有把现有工具的结论压成可信“清洁率”。审阅数量不等于无偏样本、统一协议或完整覆盖；真正有力的反例仍可能改变判断。
原文 Audits of Attribution Graphs · GF25
继续沿这个问题阅读
本例的完整图、原逐态说明与推导。
约7%与约2–4%的完整近似分类、阈值与工作粒度、GPT-2 XL历史协议对照。
阅读完整讲义