同一组已知输入,可以一起做哪些运算?
正在载入课堂画面…
同一投影作用于已知输入的许多行,可实现为大矩阵乘法。GPU 矩阵计算单元及 CUDA、Triton 等实现层负责组织具体执行;它们不改变数据依赖。图像 encoder 与因果文本模型可共用部分矩阵算子,但可见性规则不同。算子内的位置并行不能取消 attention、MLP 与层之间的先后依赖。
来源:Transformer 矩阵计算;L5 T34。
相关的完整阅读材料保留原有公式、引用和原始图解。