本页学习说明
主图#weak-close-calls的对象是medium ConvNeXt，全部18blocks。图中比例为取整展示：最弱75%删去后72→71%、约1/10答案改变；删最强约7%，匹配删掉的总激活量，72→4%、约96/100答案改变。这些是原文结果，不是本课重新跑的测量。
原图8个例子分成4个近打平与4个较确定：狗54%、蚱蜢56%、惠比特犬57%、虎斑猫62%均指“top两候选中的份额”；卡车、蜂鸟、熊、斑马的top两份额取整为100%。删除弱响应后前四项换到相近类，后四不变；删除强响应后可变成天鹅绒、蚊帐、间歇泉等不相关类别。
附录#weak-ablation-grid必须另读：Inception正ReLU逐层阈值；ConvNeXt按SwiGLU乘积幅度，残差绕行保留。各行是单层，最下行是全部18blocks。原始70.08%至69.47%是Inception最终层约保留最强四分之一的结果；不能写成全网同时这样删。中型all-block p99到3.80%、大型到27.78%正是范围反证。
百分位和相对最大值也不同。一个99th percentile阈值仍意味着每100个token约一次，对于罕见语境可能很密；原文指出不同神经元响应形状差异很大。弱响应向近义或关联语境扩散，是作者逐条追踪后形成的判断；敌人单元等语义抽查没有可信的全空间语义检验，不能凭少量点检认证所有弱响应。
弱激活附录的enemy/adversary语义抽查对象为Qwen3.6-35B-A3B L36/E206/N103：强正响应是敌对词汇（含多语种），较弱向提及、战斗、游戏与竞争扩展，近零时普通文字与代码占主导。类别筛查仍有混合结果，作者明确承认不能由点检推广总体。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。weak-close-calls · weak-ablation-grid · weak-activation-controls。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
与本页相关的深入阅读
A06｜弱激活补测必须保留层与残差条件
附录的表格每一行只干预一层，ConvNeXt 的底行才是全部 18 个 block 一起干预。Inception 操作正 ReLU 值；ConvNeXt 操作 SwiGLU 乘积的幅度，并保留残差绕行。Inception 末层只保留约最强四分之一正激活时，准确率为 69.47%，原来为 70.08%。这不能推出全网也可同样删除：medium 与 large 的全部 block 使用 p99 截断后分别只剩 3.80% 与 27.78%。语义方面，enemy 单元的弱响应从敌对词扩到战斗、游戏与竞争，近零处普通文本更多；作者承认只有个别深查与抽查，还没有可信的一般语义测试。
原文 Weak Activations: Further Measurements · GF18
阅读完整讲义