本页学习说明
ViT Figure 3 的横轴是 ImageNet、ImageNet-21k、JFT-300M 三个预训练数据集，数量与组成同时变化；纵轴为目标 ImageNet 的 top-1 分类准确率。这里先做带标签预训练，再带着参数到 ImageNet 进行带标签微调与验证集评测。因此“预训练”是学习流程位置，不必然指无标签训练。/16 表示 16×16 像素的 patch。灰色区间来自不同规模 BiT，不是单一小模型。
来源：ViT v2，物理 p.7 Figure 3、§4.3、p.15 Table 5。
相关的完整阅读材料保留原有公式、引用和原始图解。
阅读完整讲义