完整深入材料 · 保留原页与全部停点。回到相关主讲
罕见、看错与故意教错，是同一回事吗？
本页问题
现在分别看自然异常输入和一项主动记忆实验。它们都可能暴露模型怎样复用已有组件，但不能拼成同一个训练过程。
GF17/b0 · 先看没有改模型的异常输入
上排三张是异常输入及测得的响应区域，下排是各自最支持预测的末层单元的自然强例：巨型香蕉被读成拱顶，蜂鸟被读成冰淇淋，翻倒的手推车被读成割草机。这里研究者只是找出网络怎样看错，并没有为了这些错误再训练它。热区告诉我们响应落在哪里，下方自然例帮助解释被调用的组件。
教师备课：指图与模拟问答
指图与推进 · 不朗读逐列先上后下；明确上排热图不是人工标注的正确部位。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF17/b1 · 另起一个实验：把这把伞教成蜜蜂
现在换成一个主动实验。图左是一张伞，本文中型ConvNeXt原本预测它为umbrella。研究者故意把这张图的训练标签设为bee。先看训练前：已有伞相关单元被激活，而蜜蜂相关单元较弱。下面自然例来自原模型，用来说明这些单元原先响应什么。此刻还没有把结果揭出来。
教师备课：指图与模拟问答
指图与推进 · 不朗读固定伞输入；读原模型伞路线与蜜蜂路线的自然例和before条。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF17/b2 · 九步之后，已有路线的活动改了
九个训练步骤中，最可能类别经历umbrella、maypole，再到bee。现在看条形：伞相关响应下降，原有蜜蜂相关响应升高。原图最终类别概率中，umbrella由44.2%降至0.03%，bee由0.07%升至52.8%。每个单元的条形则按典型自然伞或蜜蜂响应归一化，不能把那些倍数和类别概率相加。
教师备课：指图与模拟问答
指图与推进 · 不朗读先比较同一单元before/after，再看输出概率；竖标线为1×典型自然响应。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF17/b3 · 用交换末三块再检验一次
作者没有只停在漂亮的前后图：仅把训练后模型的最后三个block移植到原始模型，其余权重保留原样，结果也会说bee，支持主要改变集中在晚层。下方的“岔路”是解释示意，真实依据仍是前面的响应变化、消融验证连接和这个模块交换结果。它反对的是“这次记忆一定需要一个完全孤立的新特征”的说法，不是证明所有记忆都只有这一条路。
教师备课：指图与模拟问答
指图与推进 · 不朗读指blocks16—18交换条件，再指示意岔路，注明示意不是完整连接图。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
接下来
如果主要路线都能认出，最弱的那批响应会不会藏着另一些关键功能？接下来先删再看。
补充推导、边界与来源
罕见输入、自然误分类、主动错误标签训练是三类不同对象。异常图来自在晚层表示中最远离其他图像的输入检索；支持它们的末层神经元以消融测量。不是给这些图片追加错误标签后的结果。
伞→蜜蜂实验使用7.06M参数中型模型，九个训练步骤中top guess依次出现umbrella、maypole、bee。原模型已有单元：block16/497（负极，穹顶与帐篷）、17/920（负极，伞）、18/240（正极，伞）；16/837（正极，小生物）、17/797（负极，花上昆虫）、18/752（负极，蜜蜂）。归一化响应由训练前到后分别为2.0→0.39、4.7→0.06、2.4→0.01；0.77→1.3、0.11→2.9、0→1.2倍典型自然例。输出概率另为44.2→0.03%与0.07→52.8%。原图线是经消融测试的精选连接，不是全部电路。
与本页相关的对抗样例附录保持另一个实验身份：ConvNeXt的三角龙头骨攻击降低六个头骨相关单元、以约典型强度四分之一招募美洲豹路线；另一个InceptionV1攻击使用32/255预算并要求经抖动、尺度、旋转后仍成立，出现猫脸与斑点，十个真豹响应单元中九个增强。此处只改输入、权重固定，与伞实验改权重不同。
作者还试过随机噪声→随机标签训练，发现部分借用羊毛与远树高频纹理，但没有全面审计，不能将其写成完整机制解释。原文把“复用已有路线更快且可塑”作为机制解释方向，课堂不将它改写为普遍定理。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。rare-image-examples · umbrella-bee · memorization-ramp · adversarial-examples。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
与本页相关的深入阅读
A08｜对抗输入经过哪些旧路线
ConvNeXt 的三角龙头骨被攻击成美洲豹时，六个头骨相关单元安静下来，真实美洲豹会使用的输入以约正常强度四分之一被激活。另一项 InceptionV1 实验采用更大的 32/255 扰动预算，并要求攻击经得起平移抖动、缩放和旋转；头骨边缘出现猫脸与斑点，十个预先按真实美洲豹响应挑选的单元里九个明显增强。两个模型的实验不能拼成一次干预；变化发生在图像，权重固定。作者把它读作优化复用已有路线的证据，尚不足以证明全部对抗例的来源。
原文 Where Adversarial Examples Go · GF17
A09｜背诵是否只是一条直接输出连接
Qwen3.6-35B-A3B 续写“Once upon a midnight”时，Poe、midnight 与文学上下文共同参与。删除 Poe 单元，dreary 首 token 概率由 87% 到 50%；只移除它在输出端的直接贡献仍有 85%。恢复下游文学单元部分救回到 57%，说明上游的作用包括影响后续计算。另一次保存的实验在 gate 超过普通文本 99.9 百分位时把单元输出置零，Psalm 23 背诵瓦解，而按数量或幅度匹配的随机干预仍保留经文；部分算术和摘要能做，编码等也退化。不能据此称为选择性删除全部记忆的通用方法。
本页证据与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排