先学重建，再做分类，大模型的收益更明显

现在加入蓝线。先做 MAE 预训练，再进行分类微调，B、L、H 分别达到八十三点六、八十五点九和八十六点九。

先竖着比同一个模型：提升分别是一点三、三点三和三点八个百分点。再横着看模型规模，这次更大的模型从这套训练过程中得到了更明显的收益。

这里有一个不能省掉的条件：蓝线多做了一千六百轮重建预训练。两组使用同一批训练图片，不等于消耗同样的计算。因此我们的结论不是“换一个任务名称，不花代价就变强”，而是结构、可利用的学习信号和训练投入一起，影响了容量能否兑现成任务表现。

这些分类成绩说明，在这些训练条件下，模型的一部分容量确实转成了可以迁移的表现。不过，分数没有告诉我们，中间究竟形成了怎样的表示。是独立记住了更多条目，形成了更细的区分，还是走了别的路线？只看这两条线，我们分不开这些解释。先把计算成本的问题留在这里，打开一组已经训练好的网络，沿着研究者看到的图和做过的检查，追问它到底学出了什么。接下来会从 MAE 切换到 InceptionV1、ConvNeXt 和语言模型；每次都会明确研究对象，不能把另一组网络的内部观察当成刚才 MAE 已被解释的证据。