完整深入材料 · 保留原页与全部停点。回到相关主讲
回到 MAE:表示怎样落成一轮计算?
本页问题
Goodfire 插入段到此结束。前面的第一节通过结论不被推翻:结构与容量提供潜力,训练后任务表现检验是否兑现,内部研究进一步追问怎样做到。Goodfire 的 ConvNeXt 与语言案例不是对本课 MAE 模型做的内部审计。
GF32/b0 · 三种问题,三类证据
我们回看这段插入的作用。容量讨论告诉我们一套结构可能承载多少;MAE 的实验结果告诉我们训练任务与下游表现怎样;Goodfire 则示范怎样检查内部表示与电路。三者相互帮助,但不能互相替代。尤其不能因为看到了 ConvNeXt 的耳朵电路,就说我们已经解释了 MAE 这张校车重建。
进一步解释
此页承担插入段收束,不开启新的模型架构比较。不要把 residual ConvNeXt 压缩实验移植为 MAE 实验,也不要把“已经 clean”改写成本课程对所有网络的定论。
教师备课:指图与模拟问答
指图与推进 · 不朗读分别指容量、任务、机制三行;最后指回已经见过的校车图,明确切回 MAE。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
GF32/b1 · 切回同一批可见 patch
现在回到原来的 MAE encoder。遮住的 patch 不进入这一轮 encoder,留下的可见 patch 各自成为向量,排成表示矩阵 X。下一页我们看 X 怎样与权重 W 相乘。理解了计算对象,才能继续问:哪些工作可以并行,什么需要保存,数据需要怎样搬运。
进一步解释
桥接示意省略位置编码、归一化、残差与完整 attention 细节,只定位当前讨论对象。原 N20 的具体矩阵维度与图形由原页负责,不在本桥接页另造参数规格。
教师备课:指图与模拟问答
指图与推进 · 不朗读指校车 masked 图中的可见部分,再指 X 与 W。停在矩阵乘法前,把下一次推进交给既有 N20。
本态来源与条件
本课既有 MAE 校车图资产与矩阵计算教学示意;非 Goodfire 对 MAE 的实测。
接下来
下一步把视线从解释实验收回 MAE encoder 的可见 patch 表示:这一批向量怎样与权重相乘,带来哪些计算、存储和搬运需求。
补充推导、边界与来源
本课既有 N11–N19 与后续 N20。此桥接图为教学定位图;校车图沿用本课 MAE Figure 2 既有证据资产,不引入新模型结果。
本页证据与条件
Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。