返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

回到 MAE:表示怎样落成一轮计算?

本页问题

Goodfire 插入段到此结束。前面的第一节通过结论不被推翻:结构与容量提供潜力,训练后任务表现检验是否兑现,内部研究进一步追问怎样做到。Goodfire 的 ConvNeXt 与语言案例不是对本课 MAE 模型做的内部审计。

GF32/b0 · 三种问题,三类证据

把问题留在各自的证据尺度上容量一套结构可能容纳多少?任务训练以后,任务表现怎样?机制内部表示与电路怎样做到?容量、任务结果、内部机制:三类证据互相补充
三种问题,三类证据

我们回看这段插入的作用。容量讨论告诉我们一套结构可能承载多少;MAE 的实验结果告诉我们训练任务与下游表现怎样;Goodfire 则示范怎样检查内部表示与电路。三者相互帮助,但不能互相替代。尤其不能因为看到了 ConvNeXt 的耳朵电路,就说我们已经解释了 MAE 这张校车重建。

进一步解释

此页承担插入段收束,不开启新的模型架构比较。不要把 residual ConvNeXt 压缩实验移植为 MAE 实验,也不要把“已经 clean”改写成本课程对所有网络的定论。

教师备课:指图与模拟问答

指图与推进 · 不朗读分别指容量、任务、机制三行;最后指回已经见过的校车图,明确切回 MAE。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF32/b1 · 切回同一批可见 patch

MAE 可见 patch表示矩阵 X可见 token 向量×权重 W下一页继续计算回到 MAE encoder 的可见 patch 表示并行 · 存储 · 搬运这里是 MAE 计算定位图;ConvNeXt 耳朵与残差案例不是 MAE 内部审计。
切回同一批可见 patch

现在回到原来的 MAE encoder。遮住的 patch 不进入这一轮 encoder,留下的可见 patch 各自成为向量,排成表示矩阵 X。下一页我们看 X 怎样与权重 W 相乘。理解了计算对象,才能继续问:哪些工作可以并行,什么需要保存,数据需要怎样搬运。

进一步解释

桥接示意省略位置编码、归一化、残差与完整 attention 细节,只定位当前讨论对象。原 N20 的具体矩阵维度与图形由原页负责,不在本桥接页另造参数规格。

教师备课:指图与模拟问答

指图与推进 · 不朗读指校车 masked 图中的可见部分,再指 X 与 W。停在矩阵乘法前,把下一次推进交给既有 N20。

本态来源与条件

本课既有 MAE 校车图资产与矩阵计算教学示意;非 Goodfire 对 MAE 的实测。

接下来

下一步把视线从解释实验收回 MAE encoder 的可见 patch 表示:这一批向量怎样与权重相乘,带来哪些计算、存储和搬运需求。

补充推导、边界与来源

本课既有 N11–N19 与后续 N20。此桥接图为教学定位图;校车图沿用本课 MAE Figure 2 既有证据资产,不引入新模型结果。

本页证据与条件

Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。

进入主题正文