完整深入材料 · 保留原页与全部停点。回到相关主讲
先立参照:同一批训练图片,从头训练能做到什么?
N18/b0 · 训练图片与验证集分工
先把评测对象立稳,暂时还不读成绩。右上方是 ImageNet-1K 训练图片池;右下方是独立验证集上的分类评测。两者职责不同。左侧横轴列出三种模型,纵轴是 top-1 分类准确率;这里评测输入分辨率统一为二百二十四。下一步才加入从头监督训练的灰线。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指右侧训练图片池与独立验证集,再读纵轴、横轴模型名及224分辨率;灰线尚未出现。
N18/b1 · 监督训练基线
先只看论文自己的从头监督训练基线:B 是八十二点三,L 是八十二点六,H 是八十三点一。这条灰线告诉我们,在这一组训练方式下,增加模型规模有收益,但并不很大。
教师备课:指图与模拟问答
指图与推进 · 不朗读依次读灰线 B/L/H 的82.3、82.6、83.1,只作这组监督训练基线。
N18/b2 · 同文对照条件
这里没有拿一条年代久远、训练不足的外部结果随意拼过来;这些数来自同一论文的对照表。不过同文比较也不意味着所有因素都已经完全控制,模型配置本身仍不同,所以我们按它实际检验的问题来读。这一页先把参照立稳。下一页使用同一批训练图片、同一验证集和分类指标,也不把高分辨率的另一条成绩混进来,而是在分类微调之前,加入刚才看过的 MAE 重建预训练。这样我们就能看清:同一批原始训练图片,通过另一种任务先被利用以后,后面的分类表现发生了什么变化。额外训练当然有成本,我们会把它一起放在图上。
进一步解释
数字来自同文Table 3的从头监督训练对照。B/L/H的规模和patch配置并非全相同;比较不声称参数量与总计算均等。
教师备课:指图与模拟问答
指图与推进 · 不朗读指同文实现与独立评价;下一页保持这些对象,增加MAE路线。
本页证据与条件
MAE v3 · Table 3 · 224×224 · MAE 额外预训练 1600 epoch,非等计算比较