本页学习说明
干预对象是InceptionV1的mixed3b:480→10通道,压缩48倍,从头重新训练,没有残差绕行。该层原本包含曲线与高低频等可研究的单元,因而适合提出“原来的细模式会去哪”的问题。主屏仅保留原文给出的两种研究预期,不把任一种预期当作先验结论。
五万张ImageNet验证图的top-1=58.35%,top-5=81.14%;准确率表示最终任务表现,不是十个单元的“解释率”。自然裁剪展示每个单元最强的五个响应。作者的标签都是暂定视觉解释。
这个干预不等价于训练后剪枝,不等价于只在原权重里关掉470个通道,也不等价于在所有层同时压缩。细粒度信息可能丢失、换位置或以其他方式保留;下一页的SAE与读出检查只能增加约束,不能凭“未找到”宣称所有隐藏信息均不存在。
来源:Nick Cammarata,2026,Neural Networks Are Already Clean,Goodfire。crushed-3b-figure。原图及研究结果归原作者;本课选取、裁剪或重排固定状态,未重新运行训练或消融实验。
阅读完整讲义