同一张照片,改变进入模型的方式
本页问题
图像无需先翻译成文字才能进入Transformer。照片切成patch,每块像素展平并经过可训练线性投影,再加入与原图位置对应的位置表示。所有patch使用同一投影规则,随后形成encoder接收的向量序列。课堂4×4网格只用于追踪裁片;ViT-B/16中的16是16×16像素patch边长,224×224图片通常有196块。
VR01/b0 · 原图与patch一一对应
同一张校车照片,切块、编号,再按顺序排成序列。四乘四的十六块是教学网格,不是实验真实块数,也不是十六个词。沿一个编号,从右侧裁片找回原图位置。
进一步解释
patch意为图像块,encoder意为编码器。4×4是这张图上的教学网格,真实ViT /16为16×16像素patch;两种数字的职责不同。
教师备课:指图与模拟问答
指图与推进 · 不朗读指原图格子与右侧同编号真实裁片,确认行列对应。
VR01/b1 · 打开第7块的接口
打开第七块。像素展平为向量,经过可训练线性投影,再加位置表示,就成为模型输入。其他块使用同一投影规则。真实ViT的/16指十六乘十六像素块,二百二十四图像通常有一百九十六块。
进一步解释
真实/16指16×16像素patch;224×224图像通常有196块。此校车照片来自MAE Figure2,用于接口教学,不冒称ViT原实验输入。
教师备课:指图与模拟问答
指图与推进 · 不朗读从原图第7块的框选到裁片,再沿展平→投影→位置表示。
VR01/b2 · 接得进去以后,还要看训练效果
全部向量交给encoder,经过attention与MLP,接上分类输出。接口已经接通,训练效果还要看实验:更大的ViT,在同一个分类任务上就一定更好吗?
教师备课:指图与模拟问答
指图与推进 · 不朗读指全部向量进入encoder,停在分类输出,再引到下一图。
接下来
更大的ViT,在同一个分类任务上就一定更好吗?
补充推导、边界与来源
4×4是教学网格;真正的patch规格与原论文配置分开。照片来源、编号与裁片一一对应。
与本页直接相关的完整材料
- N11 · 把一张图变成一串可以计算的向量:原图、逐态说明与已校准推导。
条件、推导与来源
N11 · 把一张图变成一串可以计算的向量
图像分成 patch,每块像素展平后进行可训练线性投影并加位置表示。画面 4×4、16 个块仅是序列化教学示意。真实 ViT-B/16 的 /16 指 16×16 像素块;224×224 图像对应 14×14=196 块。图像取 MAE Figure 2 校车原图作为连续对象,不冒称为 ViT 论文中的原始示例。
来源:ViT v2,§3.1;校车来自MAE v3,Figure 2。
相关的完整阅读材料保留原有公式、引用和原始图解。
本页证据与条件
MAE校车原图上的patch接口教学示意