完整深入材料 · 保留原页与全部停点。回到相关主讲
删掉弱响应，丢的是哪种信息？
本页问题
“弱响应重要吗”包含幅度、稀疏度、层位和任务等多个问题。先看一个明确协议，再读具体翻转例，最后把结论限定在实验范围。
GF18/b0 · 先把删除协议摆在结果前面
实验回到本文中型ConvNeXt，在全部十八个block同时操作。左边删除最弱的百分之七十五响应；右边删除最强约百分之七，选择到被删除的总激活量相当。它不是各删同样数量神经元，也不是永久剪掉这些单元。原文对ConvNeXt按SwiGLU乘积幅度操作，残差旁路保留。现在才打开任务结果。
教师备课：指图与模拟问答
指图与推进 · 不朗读先读all18、乘积幅度、残差保留，再读等总激活量配对。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF18/b1 · 相近总量，任务影响很不一样
看原图取整后的结果：删弱的百分之七十五，准确率大约从72%到71%，约十分之一答案改变；删最强约百分之七，准确率到约4%，约96%的答案改变。注意答案改变率和准确率下降不是同一个数：有些原本接近打平的候选会互换，也可能有改对的样本。这个比较说明幅度分布有用，但尚不能告诉我们每一条弱响应的语义。
教师备课：指图与模拟问答
指图与推进 · 不朗读从左到右比较两个数，再读下方分母差别。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF18/b2 · 看一个近乎打平的例子
这张狗的原始top两候选中，Eskimo dog占54%，另一个是Siberian husky；这54%是在top两项之间重新归一的份额，不是全类别概率。删弱响应后，答案变为Siberian husky；删强响应后却变成velvet。再看卡车这一张，原来top两项几乎一边倒，删弱仍是garbage truck。作者据这些例子认为，失去的常是已经相近的细区分；这还是实例检查，不能穷尽所有罕见输入。
教师备课：指图与模拟问答
指图与推进 · 不朗读先读狗的54/46，再比较两种删除结果；随后读确定卡车作对照。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF18/b3 · 不要把末层结果推广成全网保证
我们从附录逐层消融表中，取两项结果来比较。Inception最后一层删除约最弱75%的正ReLU响应，准确率仍约69.47%，原始为70.08%。但这是只改一层。ConvNeXt中型如果在全部十八块都推到p99，准确率会降到3.80%，尽管末块单独删便宜得多。层位、阈值、残差是否绕行都必须读清。结论应是某些设置下有很大冗余，并非弱响应永远无用。
进一步解释
附录Inception每行修改单层正ReLU值；ConvNeXt每行修改一个block的SwiGLU乘积绝对值，残差旁路保留，底行才同时修改18blocks。原始准确率Inception70.08%，medium72.08%，large74.04%。p99全部blocks使medium3.80%、large27.78%。
教师备课：指图与模拟问答
指图与推进 · 不朗读指上方只改 Inception 最后一层的结果，再指下方同时改 ConvNeXt 全部 18 blocks 的结果；强调两者干预范围不同。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
接下来
图像里的方法已经清楚：先认输入和响应，再追路线、做对照与干预。接下来把这套问题带到一段具体文本和它要预测的位置。
补充推导、边界与来源
主图#weak-close-calls的对象是medium ConvNeXt，全部18blocks。图中比例为取整展示：最弱75%删去后72→71%、约1/10答案改变；删最强约7%，匹配删掉的总激活量，72→4%、约96/100答案改变。这些是原文结果，不是本课重新跑的测量。
原图8个例子分成4个近打平与4个较确定：狗54%、蚱蜢56%、惠比特犬57%、虎斑猫62%均指“top两候选中的份额”；卡车、蜂鸟、熊、斑马的top两份额取整为100%。删除弱响应后前四项换到相近类，后四不变；删除强响应后可变成天鹅绒、蚊帐、间歇泉等不相关类别。
附录#weak-ablation-grid必须另读：Inception正ReLU逐层阈值；ConvNeXt按SwiGLU乘积幅度，残差绕行保留。各行是单层，最下行是全部18blocks。原始70.08%至69.47%是Inception最终层约保留最强四分之一的结果；不能写成全网同时这样删。中型all-block p99到3.80%、大型到27.78%正是范围反证。
百分位和相对最大值也不同。一个99th percentile阈值仍意味着每100个token约一次，对于罕见语境可能很密；原文指出不同神经元响应形状差异很大。弱响应向近义或关联语境扩散，是作者逐条追踪后形成的判断；敌人单元等语义抽查没有可信的全空间语义检验，不能凭少量点检认证所有弱响应。
弱激活附录的enemy/adversary语义抽查对象为Qwen3.6-35B-A3B L36/E206/N103：强正响应是敌对词汇（含多语种），较弱向提及、战斗、游戏与竞争扩展，近零时普通文字与代码占主导。类别筛查仍有混合结果，作者明确承认不能由点检推广总体。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。weak-close-calls · weak-ablation-grid · weak-activation-controls。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
与本页相关的深入阅读
A06｜弱激活补测必须保留层与残差条件
附录的表格每一行只干预一层，ConvNeXt 的底行才是全部 18 个 block 一起干预。Inception 操作正 ReLU 值；ConvNeXt 操作 SwiGLU 乘积的幅度，并保留残差绕行。Inception 末层只保留约最强四分之一正激活时，准确率为 69.47%，原来为 70.08%。这不能推出全网也可同样删除：medium 与 large 的全部 block 使用 p99 截断后分别只剩 3.80% 与 27.78%。语义方面，enemy 单元的弱响应从敌对词扩到战斗、游戏与竞争，近零处普通文本更多；作者承认只有个别深查与抽查，还没有可信的一般语义测试。
本页证据与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排