# 视觉里的规模扩展：结构、材料与学习任务怎样配合

在开场，我们把 Transformer 看成两类信息的共同计算场所：训练形成的参数提供可复用的结构，当前输入形成的 K/V 让这次计算读取具体材料。这个视角帮助解释机制，却还没有证明加大训练投入一定有用。视觉段因此接入两项实证：ViT 检查架构的排序怎样随训练条件变化，MAE 检查从图片自身构造的任务能否让更大模型获得收益。

这两个问题和后面的 Chinchilla 预算问题不同。这里问“扩大条件以后会怎样”；后面问“计算预算已经给定，怎样分给模型与训练数据”。将二者混成一句“越大越好”，会丢掉选择条件。

## 先把图像接成序列

图像可以切成固定大小的块。每块像素展平、线性投影为向量，再加位置信息，就得到 Transformer 可处理的向量序列。ViT 使用这一输入组织方式，其 encoder 仍包含 self-attention 与 MLP。它保留的是熟悉的计算接口，不意味着图像和语言的任务、数据分布或所需先验完全相同。

课堂校车的 4×4 网格是教学示意。ViT-B/16 中的 16 表示 patch 边长；在 224×224 图片上，每边有14块，合计196块，不是16块。课堂重复使用 MAE 原图，是为了让分块与稍后的遮挡任务有共同对象，不能据此声称是 ViT 论文的实验样本。

## ViT：不要只依据小规模条件选架构

![ViT Figure 3：真实预训练数据集与迁移成绩](../assets/evidence/vit-v2-figure3.png)

本图里的 ViT 先在指定数据集上做带标签的监督分类预训练，再把参数带到 ImageNet 目标任务进行带标签微调与评价。预训练指流程中的位置，本身不等于无标签；后面 MAE 才改变训练目标。

Figure 3 的纵轴是预训练并微调后的 ImageNet top-1 准确率，单位是百分比；横轴为 ImageNet、ImageNet-21k 与 JFT-300M，不是纯粹的样本量坐标。灰色范围来自不同规模的 BiT（ResNet）模型，彩色圆点来自 ViT 变体。

在 ImageNet 一列，卷积基线整体更有优势，同为 /16 的 ViT-L 还低于 ViT-B；在 JFT-300M 一列，两者排序反转，最大的 ViT 超过图中 BiT 范围。这是选择方法时值得保留的信息：一种结构在小数据条件下的表现，不必然代表扩展后能达到的位置。

但图上三种数据集同时改变数量和组成，小数据设置还采用了相应正则化选择。因此，图不能把收益唯一分给某个变量。原图保留而不目测重造精确点值，也是为了避免把视觉趋势加工成不存在的精确数据。

### 更受控的子集比较，与不同的评测协议

![ViT Figure 4：JFT 子集上的线性5-shot评测](../assets/evidence/vit-v2-figure4.png)

Figure 4 将数据来源固定到 JFT 的随机子集，实际比较 9M、30M、90M 和完整 JFT。图使用对数横轴；纵轴为线性5-shot ImageNet准确率。这里会在冻结表征上拟合一个线性分类器，且采用早停、报告训练期间最佳验证结果。它不是把五条文字示例放进模型上下文，也不是后面要讲的 LLM ICL。

![ViT Figure 5：预训练计算与迁移成绩](../assets/evidence/vit-v2-figure5.png)

Figure 5 再把问题换成计算预算：横轴是预训练计算 exaFLOPs，纵轴分别是 Average-5 和 ImageNet 迁移准确率。比较范围内 ViT 的表现支持其扩展潜力；这个图不授权把计算量直接换成墙钟时间、费用或所有架构的普遍效率排名。

### 保留反证：卷积也能扩展

ConvNeXt 通过调整卷积结构和训练配方，在更大模型、更多预训练数据下仍然取得收益。其 Table 1 的 ImageNet-22K 预训练部分，在224分辨率下给出 ConvNeXt-T/S/B/L/XL 的 ImageNet-1K top-1 结果82.9/84.6/85.8/86.6/87.0。这个系列包含不同容量模型，不能当成只改变单个变量的严格因果隔离；但它足以推翻“卷积本质不能 scaling”的断言。

![ConvNeXt Table 1 原表](../assets/evidence/convnext-v2-table1.png)

因此，课堂选择 ViT 来讲 Transformer 的扩展证据，并不是把结构史写成唯一胜者的必然道路。我们关心的是在明确条件下怎样做研究判断。

## MAE：原始图片怎样持续提供训练目标

![MAE Figure 2 校车：遮挡、重建与原图](../assets/evidence/mae-v3-schoolbus-triptych.png)

左侧给模型可见的局部，中间是论文报告的重建，右侧是原图。这个展示使用80%遮挡，只见196个patch中的39个。图的条件需要与常见的75%训练遮挡例子分开记。

监督不必来自人工逐张写好的问答：遮挡以前就拥有完整图片，被遮部分的像素能够提供预测目标。重建与目标的差异形成训练误差。大编码器只处理可见patch，较轻的解码器加入mask token后恢复缺失内容，因此任务设计也影响运行成本。

重建不是原图的复印。车窗和车身细节存在可见误差，且论文没有将可见原图块覆盖回模型重建，本课保留同样的原始像素。这样才能分清模型实际给出了什么。单个重建样例提供直观机制，不能代替独立任务评测。

## 从重建转到分类，保留与替换什么

重建以后，带去分类的是训练过的 encoder。重建 decoder 被丢弃，分类时把完整图片的全部 patch 送进保留的 encoder，接上分类头，再用带标签训练图片微调；最后在独立验证集评价分类结果。完整路径是“完整图像／全部 patch→保留 encoder→分类头→带标签微调→独立分类评价”。课堂先前看过原图，不意味着遮挡重建那一次的模型输入也看过全图；而分类阶段确实改为完整输入。

所以“图补得像不像”与“分类能做多好”是两个评价。不能只删掉 decoder 就直接跳出准确率，更不能把某张重建图当成下游分类成绩。

## 同一图片池，更大模型能否获得更多收益

| ImageNet-1K，224×224，top-1准确率（%） | ViT-B/16 | ViT-L/16 | ViT-H/14 |
|---|---:|---:|---:|
| 从头监督训练，同文实现 | 82.3 | 82.6 | 83.1 |
| MAE预训练后微调 | 83.6 | 85.9 | 86.9 |
| 差值，百分点 | 1.3 | 3.3 | 3.8 |

表值来自 MAE Table 3。模型更大时，MAE后微调相对该文监督实现的差值也更大。两组用同一ImageNet-1K训练图片池，分类成绩由独立验证集取得，但MAE增加1600 epoch预训练，之后再微调，属于非等计算比较。不能把差值全归因于一个结构改动，也不能声称免费提升。论文还有ViT-H在448分辨率下87.8的结果，因条件不同没有放入本表。

![MAE Table 3 原表](../assets/evidence/mae-v3-table3.png)

这里回到一个比“模型更大”更完整的结论：结构提供潜力，任务组织和训练投入使潜力得到利用；是否有用需要适当的下游评测。这既不是 attention 记忆容量测试，也不是模型已经理解所有视觉关系的证明。

## 从任务收益追到内部机制，再回到计算

分类成绩说明训练后的表示能够帮助新任务，却没有告诉我们网络内部正在区分什么。接下来换一组研究对象，从 InceptionV1 中同时响应猫和汽车的单元出发，观察共同结构、训练轨迹和可检验的解释。Goodfire 的这些案例不是对前面 MAE checkpoint 的内部审计，而是另一组模型的机制证据。

[从猫和汽车读内部区分](../pages/RG02.html)之后，再把问题放回 MAE encoder 的可见 patch：向量排成 X，共享参数 W 怎样处理这些输入，哪些位置可以并行，计算、保存和搬运各受什么约束。

最后把预测对象换为文字。next-token prediction 从原始序列构造前缀和目标，本课沿 A/B 记录完成概率、损失和参数更新，再用关系任务与真实迁移评测检查学到了什么。图像重建提供了理解训练闭环的入口；语言模型是否可靠处理关系，仍需要它自己的证据。

## 课堂入口与一级来源

- [图像成为序列](../classroom/N11.html?step=b0) · [ViT实验条件](../classroom/N12.html?step=b0) · [扩展对照](../classroom/N14.html?step=b0) · [MAE重建](../classroom/N15.html?step=b0) · [分类迁移](../classroom/N17.html?step=b0) · [分类比较](../classroom/N19.html?step=b0)
- Dosovitskiy 等，[An Image is Worth 16×16 Words](https://arxiv.org/pdf/2010.11929v2)，固定v2，Figure 1（p3）、Figure 3/4/5（p7），§3.1、§4.3–4.4。
- He 等，[Masked Autoencoders Are Scalable Vision Learners](https://arxiv.org/pdf/2111.06377v3)，固定v3，Figure 2（p2）、Table 3/Figure 8（p7）；MAE作者归属不与ViT或ConvNeXt混写。
- Liu 等，[A ConvNet for the 2020s](https://arxiv.org/pdf/2201.03545v2)，固定v2，Table 1（p7），§3.1–3.2。

以上为公开论文结果、原图裁取和课堂重绘。本次没有重训这些模型；校车图不是新推理输出。