本页学习说明
本页对象为 InceptionV1:汽车单元 4c:447 的四个读出 4d:417、167、295、241。原文旧图把它们画成“汽车进入狗的存储空间,再取回汽车”;新的自然输入路线分析不支持这种解释。
特征可视化通过优化像素或参数化图像来提高单元响应。自由优化容易进入高收益路径,晚层 InceptionV1 常走入狗相关路线;这不等于某张自然汽车图也走这条路线。原文尝试从强响应自然例追踪路线,再给优化过程一个沿该路线的偏置,常只在前 64 步施加;没有声称存在唯一最佳设置。更改的是观察工具的目标/正则与引导,模型没有重新训练。
原交互 Top 1,000 自然照片构成:4d:417 汽车96.9%、狗0.3%;4d:167 汽车97.0%、狗1.6%;4d:295 汽车52.6%、狗42.8%;4d:241 汽车50.7%、狗46.5%。这些是该图筛选集构成,不是分类准确率。两者主要为汽车,两者具有狗车共享姿态。主屏选择417与295的照片核对,完整四组数据与图示在此保留。
进一步阅读附录 Feature Visualization in Later Layers:应把自由优化、自然路径引导、自然图响应及完整电路图放在一起读;一条路线不是神经元的全部功能。
来源:Nick Cammarata(2026),Goodfire,Neural Networks Are Already Clean。 原图/段落 car-circuit。 原图/段落 late-layer-feature-visualization。 图与原始照片保留原作者权利;本课按原图选择固定状态、重排并加中文标注,未重跑原文模型实验。
与本页相关的深入阅读
A03|晚层优化图怎样受自然路径约束
自由优化只问怎样提高目标激活,可能进入自然输入很少走的路径。本文利用强自然例的路线,给优化一个沿这些路线走的激励;有时只在前 64 步这样做就足够离开“狗盆地”。作者没有宣称找到唯一最优配方。对 4c:447 的四个读出者,应同时读自由优化、路径引导优化和自然汽车输入的连接;一条成功路线仍不是一个单元的全部用途。
原文 Feature Visualization in Later Layers · 自然输入完整路径 · GF05
阅读完整讲义