本页学习说明
ViT Figure3报告带标签预训练、ImageNet微调后的独立分类评价。纵轴为top-1准确率，横轴为ImageNet、ImageNet-21k、JFT-300M三种预训练数据集。粉色B/16与浅蓝L/16保持相同patch边长；在ImageNet列L/16低于B/16，到JFT列则反转。这个结果要求结合训练条件判断结构潜力。数据数量、组成和计算投入同时变化，不能把三个点读成只改样本数的因果实验。
采用ViT v2 Figure3原图，保留数据集、模型身份、BiT范围与下游评价流程；不将不同数据集比较变成纯数据量因果实验。
与本页直接相关的完整材料
条件、推导与来源
N12 · 这张图比较的，究竟是哪一次训练？
ViT Figure 3 的横轴是 ImageNet、ImageNet-21k、JFT-300M 三个预训练数据集，数量与组成同时变化；纵轴为目标 ImageNet 的 top-1 分类准确率。这里先做带标签预训练，再带着参数到 ImageNet 进行带标签微调与验证集评测。因此“预训练”是学习流程位置，不必然指无标签训练。/16 表示 16×16 像素的 patch。灰色区间来自不同规模 BiT，不是单一小模型。
来源：ViT v2，物理 p.7 Figure 3、§4.3、p.15 Table 5。
相关的完整阅读材料保留原有公式、引用和原始图解。
N13 · 在这个条件下，做大 ViT 没有换来更好成绩
左列比较同一 ImageNet 预训练数据集、同为 /16 patch、同一目标评测下的 B/16 与 L/16。L/16 更大，但该条件中准确率更低。图像局部先验可帮助解释为何卷积在较小训练条件下有效，但这张图不单独识别所有原因，也没有匹配每个模型的参数量与总计算。
来源：ViT v2，Figure 3 左列。
相关的完整阅读材料保留原有公式、引用和原始图解。
N14 · 扩大训练以后，同一对模型的排序变了
JFT-300M 列中 L/16 高于 B/16，修正了仅凭左列得出的扩展判断。该图换了数据集数量和组成，训练计算也不完全相等，因此不把全部增益归为纯样本数。
Figure 4 在同源 JFT 子集上补充研究规模变化，其 5-shot 指冻结表征后拟合线性分类器，并非语言模型的提示 ICL。
现代卷积同样可以从结构与训练配方获益；本段不主张卷积不能扩展。原图完整条件见视觉扩展正文。
来源：ViT v2，Figure 3/4；ConvNeXt，Table 1。
相关的完整阅读材料保留原有公式、引用和原始图解。
阅读完整讲义