本页学习说明
MAE Table3在ImageNet-1K、224×224评价中比较两条路线。B/16、L/16、H/14从头监督训练为82.3、82.6、83.1;MAE预训练后微调为83.6、85.9、86.9。相同L/16提升3.3个百分点,说明该路线有分类迁移收益。两路共享训练图片池,却非等计算:MAE还使用1600轮预训练。H/14的patch规格与B/L不同,448分辨率结果也不混入本图。
按MAE v3 Table3重绘,保留原表核对入口。训练图片池与验证集分开,224评测与448结果分开,同文对照与等计算实验分开。
与本页直接相关的完整材料
条件、推导与来源
N18 · 先立参照:同一批训练图片,从头训练能做到什么?
指标是独立 ImageNet 验证集上的分类 top-1,输入分辨率统一为 224×224。两条训练路线共享 ImageNet-1K 训练图片池,但验证集与训练图片池分开。论文 Table 3 的从头监督训练基线为 B/16 82.3、L/16 82.6、H/14 83.1;B/L/H 代表不同模型规模,H 的 patch 尺寸也为 /14,不能把跨规模图读成严格只改一个参数的实验。
来源:MAE v3,物理 p.7 Table 3 / Figure 8。
相关的完整阅读材料保留原有公式、引用和原始图解。
N19 · 先学重建,再做分类,大模型的收益更明显
MAE 后微调成绩为 83.6、85.9、86.9,与从头监督训练逐模型差值为 1.3、3.3、3.8 个百分点。MAE 额外预训练 1600 epoch;共同使用训练图片池不等于等计算。ViT-H/448 的 87.8 使用不同分辨率,不混入本图 224 比较。

原表保留供核对配置;主屏曲线按 Table 3 重绘,不是新实验。
来源:MAE v3,Table 3;本课按原表重绘。
相关的完整阅读材料保留原有公式、引用和原始图解。
阅读完整讲义