训练条件改变，同一对模型的排序也改变

采用ViT v2 Figure3原图，保留数据集、模型身份、BiT范围与下游评价流程；不将不同数据集比较变成纯数据量因果实验。

与本页直接相关的完整材料

• N12 · 这张图比较的，究竟是哪一次训练？：原图、逐态说明与已校准推导。
• N13 · 在这个条件下，做大 ViT 没有换来更好成绩：原图、逐态说明与已校准推导。
• N14 · 扩大训练以后，同一对模型的排序变了：原图、逐态说明与已校准推导。

条件、推导与来源

N12 · 这张图比较的，究竟是哪一次训练？

ViT Figure 3 的横轴是 ImageNet、ImageNet-21k、JFT-300M 三个预训练数据集，数量与组成同时变化；纵轴为目标 ImageNet 的 top-1 分类准确率。这里先做带标签预训练，再带着参数到 ImageNet 进行带标签微调与验证集评测。因此“预训练”是学习流程位置，不必然指无标签训练。/16 表示 16×16 像素的 patch。灰色区间来自不同规模 BiT，不是单一小模型。

来源：ViT v2，物理 p.7 Figure 3、§4.3、p.15 Table 5。

相关的完整阅读材料保留原有公式、引用和原始图解。

N13 · 在这个条件下，做大 ViT 没有换来更好成绩

左列比较同一 ImageNet 预训练数据集、同为 /16 patch、同一目标评测下的 B/16 与 L/16。L/16 更大，但该条件中准确率更低。图像局部先验可帮助解释为何卷积在较小训练条件下有效，但这张图不单独识别所有原因，也没有匹配每个模型的参数量与总计算。

来源：ViT v2，Figure 3 左列。

相关的完整阅读材料保留原有公式、引用和原始图解。

N14 · 扩大训练以后，同一对模型的排序变了

JFT-300M 列中 L/16 高于 B/16，修正了仅凭左列得出的扩展判断。该图换了数据集数量和组成，训练计算也不完全相等，因此不把全部增益归为纯样本数。

Figure 4 在同源 JFT 子集上补充研究规模变化，其 5-shot 指冻结表征后拟合线性分类器，并非语言模型的提示 ICL。

现代卷积同样可以从结构与训练配方获益；本段不主张卷积不能扩展。原图完整条件见视觉扩展正文。

来源：ViT v2，Figure 3/4；ConvNeXt，Table 1。

相关的完整阅读材料保留原有公式、引用和原始图解。