能承载多少，与为什么共享

本文重点质疑的superposition是一个组织假说：不相关的计算因为很少干扰，任意共用神经元容量。它不同于“可描述的特征多于维度”，也不同于向量相加、多个神经元共同完成任务或普通组合式表示。前一节联想记忆的条件化容量推导没有因此被推翻。

原图packing-vs-growing用32个图形作概念对照：相近颜色与形状代表相近对象；减少神经元时，一边按相似性形成较粗组，另一边把不相干项打包。本课只重画这个对照的精选组，标明示意，不伪装模型测量。共享带来的干扰成本和复用收益可以并存；仅有特征数与维数的比较不能回答为何这些具体计算共用同一个单元。

正文Superposition of the Gaps保留三个观察盲点。其一，某单元看似同时响应pr、Base64网址与孟加拉文字，解码／转写后仍与pr相关。其二，某Qwen单元看似响应逗号，完整上下文显示它跟踪Colorado，逗号是上下文摘要位置；作者还通过steering观察到徒步相关生成。其三，只给两段文本会让长上下文机制显得没有主题，完整前文可能改变解释。这些是作者研究案例，不是本课实验；也不意味着任何未解释例都必有漂亮答案。

附录 A Note on Superposition 与 A Note on Features and Definitions 区分计数命题、组织命题与词义变迁。作者认可Toy Models在其预设特征和重建目标下的实验，争论真实网络中共享的复用收益是否被这些设定覆盖。不能把本文写成Toy Models实验已被证伪。尚不能解释的响应应当保留为未知；工具、数据覆盖和发展关系都是可进一步检验的候选原因。

来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 packing-vs-growing。 原图／段落 superposition-of-the-gaps。 原图／段落 features-and-definitions。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。

与本页相关的深入阅读

A01｜superposition 到底是哪一个命题

同一个词曾指向向量叠加、特征数超过维数、分布式组合，以及因很少相撞而把无关计算放在一起。本文重点质疑最后一种作为真实网络难解释性的默认原因，尤其是它对神经元如何生长的解释。特征数量超过维数也可以来自有用组合；残差流没有特权坐标基，也不能单独证明任意打包。评价本文必须先固定所谈命题，而不是把它当作否定所有同名理论。

原文 A Note on “Superposition” · GF10

A20｜特征、机制与组织不是同义词

人类关心的一种概念、网络自己的可复用计算构件、SAE 中一个字典方向，都可能被叫作 feature，却不是同一个对象。给猫、车、V 各计一个特征还是只计 V，会改变“特征数”，不一定改变网络。本文因此优先追问什么被什么读取、为什么响应会同处一处。字典仍可作为有用视图；只有确实存在妨碍理解的原生组织问题时，才需要论证替换机制的成本值得承担。

原文 A Note on Features and Definitions · GF10 · GF28

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

• 把一层从 480 个通道压到 10 个，会怎样？
• 没找回细曲线，究竟说明了什么？
• 如果把瓶颈放到最后一层呢？
• 换成 SAE 字典，会多看见什么？

三个命题的完整对齐与pr／编码／转写案例、Colorado与长上下文观察盲点。