本页学习说明
分类成绩回答表示是否有用，内部响应研究回答这些表示在区分什么。接下来的猫与汽车自然图来自InceptionV1同一单元的高响应例，研究对象已经更换；它不是前述MAE checkpoint的内部审计。保留同一单元与不同输入，才能进一步检查这些物体是否有共同结构，以及这种解释是否经得住新证据。
分类分数告诉我们训练后的表示能否转用于任务，却不能直接说明网络内部的单元在区分什么。要继续追问，需要观察具体输入引起的内部响应。接下来的猫与汽车例子换用InceptionV1：这是另一个模型上的机制证据，不是对刚才MAE模型的内部审计。
与本页直接相关的完整材料
条件、推导与来源
GF01 · 分数提高了，内部究竟学出了什么？
N19 的 85.9% 是 MAE 预训练后 ViT-L 在给定分类微调设置下的 top-1 准确率；与同模型从头监督训练的 82.6% 相差 3.3 个百分点。额外 1600 epoch 预训练仍计入比较条件。这一结果支持容量能够被训练利用，不直接说明哪一个中间单元在做什么。
本段使用 Goodfire 文章中的 InceptionV1、作者自训的 ConvNeXt，以及文中语言模型案例。这里不是对前一页 MAE 的逐层机制验证。我们沿作者的观察和修正过程学习四类证据：自然输入上的响应、可视化工具产生的图、连接与干预，以及新的检验例。作者将其整体主张表述为工作假说；局部观察与全网判断分开。
来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。
阅读完整讲义