同一组表示,怎样变成可执行的运算?
本页问题
一批已知位置的表示可排成矩阵 X,共用投影 W 形成 XW。位置并行是计算的组织方式,attention、MLP 和后续层仍有先后依赖。图像与文字可共享这类算子接口;可读取的位置则由各自任务规定。
RC-H1/b0 · 从可见位置接着走
继续沿这批 MAE 可见图块看。每个已知位置经过前面的处理,得到一行表示;把这些行排起来,就是矩阵 X。W 是接下来共享使用的投影参数。图里的色块表示坐标位置,不是这台模型的实测激活值。我们先保持输入与参数身份,看看输出怎样产生。
进一步解释
此处沿用 RG32 的 MAE 校车遮挡图与可见 patch 身份。X 为行向量排成的矩阵;不是把先前 Goodfire 的单元当作 MAE 实测结果。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿可见 patch 到 X 的行标记,指固定的 W;先不指尚未出现的输出。
本态来源与条件
教学构造与机制示意;非模型实测
RC-H1/b1 · 同一 W 作用于多行
同一个 W 分别作用于 X 的许多行,结果排成输出矩阵 XW。每行接受相同的变换,因而能组织成硬件擅长的矩阵运算;增加输入位置会增加工作,却不要求为每行另学一套 W。图像和已知文字位置都可以这样排成多行,但接下来允许各行读取谁,还由任务决定。
进一步解释
设 X 为 T×d、W 为 d×h,则 XW 为 T×h。T 改变行数,W 的形状可以不变。这里只打开共享线性投影,不把完整 Transformer 层简化为一个矩阵乘法。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿多行 X、共享 W 到输出矩阵;最后指已知文本的小接口,保持 MAE 身份标记。
本态来源与条件
教学构造与机制示意;非模型实测
RC-H1/b2 · 算子与层的先后依赖
下方是运算依赖:attention 先产生当前表示,MLP 才能接着变换,再送到下一层。能一起做的是依赖已经满足的工作,不是让所有层同时完成。为看清文字预测的读取边界,下一页借上一讲的半句英文,只跟踪 gave 这一行,然后再回到 A/B 记录。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿 attention → MLP → 下一层指读,再回指已知文本接口。
本态来源与条件
教学构造与机制示意;非模型实测
接下来
已知位置可以一起算,怎样又不让预测偷看答案?
补充推导、边界与来源
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N20:同一组已知输入,可以一起做哪些运算?
同一投影作用于已知输入的许多行,可实现为大矩阵乘法。GPU 矩阵计算单元及 CUDA、Triton 等实现层负责组织具体执行;它们不改变数据依赖。图像 encoder 与因果文本模型可共用部分矩阵算子,但可见性规则不同。算子内的位置并行不能取消 attention、MLP 与层之间的先后依赖。
来源:Transformer 矩阵计算;L5 T34。
相关的完整阅读材料保留原有公式、引用和原始图解。
本页证据与条件
教学构造与机制示意;非模型实测