本页学习说明
Santa：标签漏掉了什么
研究对象仍是 Qwen3-32B。原轮播的输入写到 12 月 25 日早晨、壁炉旁饼干与牛奶消失、烟囱煤灰和夜间雪橇铃，预测位置位于回答前缀之后。关键单元中，Santa lore 的负极组有 5 个，预测 Santa Claus 的负极组有 3 个。删除这 8 个负极单元后，P(Santa) 约 0.059，回答转向家里的宠物；同层同数量随机删除为 0.997。另一个实验按自动标签删除 20 个标作 Santa／Christmas 的单元，目标概率仍约 76%；这不是与“删 8 个”完全等规模的对照，而是说明只按正侧标签找对象会漏掉关键单元。
负极指单元在这些输入上取很强的负值。它不等于“反对 Santa”。最终贡献还取决于下游读出方向。图中的蓝边表示相反方向贡献，是另一层概念。作者的说法是正侧与负侧都值得看；课堂不把每个负数直接翻译成反事实抑制。
SwiGLU：同一个正输出有两条符号路线
现代 MLP 的一个 SwiGLU 通道写成 $a=\mathrm{SiLU}(g)\,v$，其中 $\mathrm{SiLU}(g)=g\sigma(g)$。$g$ 是门控预激活，$v$ 是 value 分支。$g<0$ 时，SiLU 仍是一个小负数，不会像理想硬门一样变成零；若 $v<0$，两者乘积又为正。
因此四种组合为：$g>0,v>0\Rightarrow a>0$；$g>0,v<0\Rightarrow a<0$；$g<0,v>0\Rightarrow a<0$（门控因子较小）；$g<0,v<0\Rightarrow a>0$（双负）。这只是代数分区，不是四种语义的自动分类，也不是输出概率的正负。
原文主图 Qwen3-32B L1/N20736 的 top-positive 列表都出现 Colossians 结尾，正值约 0.98—0.99。分离门控后，这些是小的双负泄漏，而开放门控下的强负例包括 russian、ru 和俄语拼写片段。原表在 Coloss|ians 上给出 $g=-1.2,v=-3.5,a\approx+1.0$；Speak russian 为 $g=+4.4,v=-2.9,a\approx-12.5$。数字来自原图、经四舍五入，非本课构造。这并不意味着所有双负都无意义：作者的全网络消融使多数基准变好、部分推理基准下降，原因尚未深查。
附录的独立审计，不与主文单元混用
Separating the Sign Regimes 中另一例为 Qwen 3.6 35B-A3B，L36/E206/N103。分位抽样 750 个样本，626 个保留 routing；p75—p99 区间的 133 个响应中 131 个为双负，而 p99.99 及以上的 93 个均为双正。每根柱子的分母是该激活分位带中的 replay 数，不是全网络神经元数。原完整图如下，主讲只取其代数机制，审计作为进一步阅读。
主文还提到约 4% 单元的正激活 top-list 被这类现象占据，这是作者研究样本下的估计，不能当成普适常数。
来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，double-negative-example。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。
与本页相关的深入阅读
A04｜SwiGLU 的正输出为什么有两种来源
SwiGLU 的输出是 $a=\operatorname{SiLU}(g)\,v$。这里的有效门是经过 SiLU 的值；当门与 value 都为负，乘积仍为正。因此只按乘积排序，可能把双正和双负来源放进同一个正侧列表。Qwen3.6 的 L36/E206/N103 抽样 750 个分位分层例子，626 个保留 routing；p75–p99 中 131/133 为双负，而 p99.99 及以上 93/93 为双正。该局部审计与主文 Qwen3-32B L1/N20736 的示例不是同一个单元。本节四格表只说明符号分区；GF20 展示的 Colossians 与 russian 数值则来自原图的具体测量，两种材料分别读取。
把四个符号区间分开后，观察规则就明确了：
| 有效门 $\operatorname{SiLU}(g)$ |
value $v$ |
乘积 $a$ |
需要另外检查什么 |
| 正 |
正 |
正 |
正侧正常路线的自然输入 |
| 正 |
负 |
负 |
value的负侧及后续输出权重 |
| 负 |
正 |
负 |
小的负门是否只留下弱响应 |
| 负 |
负 |
正 |
是否把另一条来源混进正侧列表 |
SiLU满足 $\operatorname{SiLU}(g)=g\sigma(g)$，其中 $\sigma(g)=1/(1+e^{-g})$。负的 $g$ 不会被严格截成零，因此双负乘积可能出现。这里按运算符号分区；最终对某个答案的支持或抑制还取决于后续读出权重，不能从 $a>0$ 直接推出“支持该答案”。
原文 Separating the Sign Regimes · GF20
阅读完整讲义