分数之外,网络内部在区分什么?
本页问题
分类成绩回答表示是否有用,内部响应研究回答这些表示在区分什么。接下来的猫与汽车自然图来自InceptionV1同一单元的高响应例,研究对象已经更换;它不是前述MAE checkpoint的内部审计。保留同一单元与不同输入,才能进一步检查这些物体是否有共同结构,以及这种解释是否经得住新证据。
VR06/b0 · 成绩不能替代内部解释
分类分数说明表示有用,却没解释内部形成了哪些区分。下面换一组能深入观察的网络,从内部响应寻找解释;这不是对刚才那台MAE checkpoint的审计。
教师备课:指图与模拟问答
指图与推进 · 不朗读回指MAE分类结果与内部表示问号,明确下一步切换研究对象。
VR06/b1 · 让猫与汽车提出一个困惑
这里换到InceptionV1。同一个单元的高响应自然例里,为什么同时有猫和汽车?先留住这个困惑,下一段沿照片里的结构寻找解释。
教师备课:指图与模拟问答
指图与推进 · 不朗读指两幅自然图与InceptionV1身份,只提出猫/车共现的悬念,具体观察留下一页。
接下来
猫和汽车共享了什么,能否形成可以检验的功能解释?
补充推导、边界与来源
分类分数告诉我们训练后的表示能否转用于任务,却不能直接说明网络内部的单元在区分什么。要继续追问,需要观察具体输入引起的内部响应。接下来的猫与汽车例子换用InceptionV1:这是另一个模型上的机制证据,不是对刚才MAE模型的内部审计。
与本页直接相关的完整材料
- GF01 · 分数提高了,内部究竟学出了什么?:原图、逐态说明与已校准推导。
条件、推导与来源
GF01 · 分数提高了,内部究竟学出了什么?
N19 的 85.9% 是 MAE 预训练后 ViT-L 在给定分类微调设置下的 top-1 准确率;与同模型从头监督训练的 82.6% 相差 3.3 个百分点。额外 1600 epoch 预训练仍计入比较条件。这一结果支持容量能够被训练利用,不直接说明哪一个中间单元在做什么。
本段使用 Goodfire 文章中的 InceptionV1、作者自训的 ConvNeXt,以及文中语言模型案例。这里不是对前一页 MAE 的逐层机制验证。我们沿作者的观察和修正过程学习四类证据:自然输入上的响应、可视化工具产生的图、连接与干预,以及新的检验例。作者将其整体主张表述为工作假说;局部观察与全网判断分开。
来源:Nick Cammarata(2026),Goodfire,Neural Networks Are Already Clean。 图与原始照片保留原作者权利;本课按原图选择固定状态、重排并加中文标注,未重跑原文模型实验。
本页证据与条件
Goodfire:InceptionV1自然图像响应,与MAE不同模型