本页学习说明
罕见输入、自然误分类、主动错误标签训练是三类不同对象。异常图来自在晚层表示中最远离其他图像的输入检索；支持它们的末层神经元以消融测量。不是给这些图片追加错误标签后的结果。
伞→蜜蜂实验使用7.06M参数中型模型，九个训练步骤中top guess依次出现umbrella、maypole、bee。原模型已有单元：block16/497（负极，穹顶与帐篷）、17/920（负极，伞）、18/240（正极，伞）；16/837（正极，小生物）、17/797（负极，花上昆虫）、18/752（负极，蜜蜂）。归一化响应由训练前到后分别为2.0→0.39、4.7→0.06、2.4→0.01；0.77→1.3、0.11→2.9、0→1.2倍典型自然例。输出概率另为44.2→0.03%与0.07→52.8%。原图线是经消融测试的精选连接，不是全部电路。
与本页相关的对抗样例附录保持另一个实验身份：ConvNeXt的三角龙头骨攻击降低六个头骨相关单元、以约典型强度四分之一招募美洲豹路线；另一个InceptionV1攻击使用32/255预算并要求经抖动、尺度、旋转后仍成立，出现猫脸与斑点，十个真豹响应单元中九个增强。此处只改输入、权重固定，与伞实验改权重不同。
作者还试过随机噪声→随机标签训练，发现部分借用羊毛与远树高频纹理，但没有全面审计，不能将其写成完整机制解释。原文把“复用已有路线更快且可塑”作为机制解释方向，课堂不将它改写为普遍定理。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。rare-image-examples · umbrella-bee · memorization-ramp · adversarial-examples。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
与本页相关的深入阅读
A08｜对抗输入经过哪些旧路线
ConvNeXt 的三角龙头骨被攻击成美洲豹时，六个头骨相关单元安静下来，真实美洲豹会使用的输入以约正常强度四分之一被激活。另一项 InceptionV1 实验采用更大的 32/255 扰动预算，并要求攻击经得起平移抖动、缩放和旋转；头骨边缘出现猫脸与斑点，十个预先按真实美洲豹响应挑选的单元里九个明显增强。两个模型的实验不能拼成一次干预；变化发生在图像，权重固定。作者把它读作优化复用已有路线的证据，尚不足以证明全部对抗例的来源。
原文 Where Adversarial Examples Go · GF17
A09｜背诵是否只是一条直接输出连接
Qwen3.6-35B-A3B 续写“Once upon a midnight”时，Poe、midnight 与文学上下文共同参与。删除 Poe 单元，dreary 首 token 概率由 87% 到 50%；只移除它在输出端的直接贡献仍有 85%。恢复下游文学单元部分救回到 57%，说明上游的作用包括影响后续计算。另一次保存的实验在 gate 超过普通文本 99.9 百分位时把单元输出置零，Psalm 23 背诵瓦解，而按数量或幅度匹配的随机干预仍保留经文；部分算术和摘要能做，编码等也退化。不能据此称为选择性删除全部记忆的通用方法。
原文 Memorization and Composition · GF17 · GF21
阅读完整讲义