返回课堂

第三问:算式成立,机器怎样把它算完?

本页问题

让一次矩阵计算真正发生,除了运算,还需要哪些存储与搬运?沿同一份参数和当前状态追踪。

OV09/b0 · 算多少、存多少、搬多少?

同一段计算:Y = XW存储参数 W当前状态 X输出状态 Y读取 X、W写回 Y计算单元乘加运算存多少?搬多少?算多少?训练还要保存更新所需状态;使用要形成当前请求状态
算多少、存多少、搬多少?

可执行的计算包含参数与当前状态的存储、读取、运算和结果写回。计算量、存储容量及数据搬运是相互关联但不同的约束;算式正确,并不保证设备装得下或能以可接受的延迟执行。训练需要保存与更新有关的额外对象,使用需要处理当前请求状态。规模的收益取决于数据与训练条件,实际选择还须同时衡量执行代价。

进一步解释

本页是硬件执行的机制示意,没有指定 GPU 型号、吞吐实测或通用价格。训练状态账、分片、分块 attention、prefill/decode 与 KV 的具体对象与边界,保留在正文系统段逐一建立。

教师备课:指图与模拟问答

指图与推进 · 不朗读从存储中的参数/当前状态沿读取箭头到计算单元,再沿写回箭头返回;指算、存、搬三个问题,只定位训练与使用差异。

本态来源与条件

计算、存储、搬运关系为教学示意;未给出硬件基准或通用最优配置。

接下来

带着承载、证据和执行三个问题,先走进最小的读取装置。

补充推导、边界与来源

再想一步

计算、存储与搬运并不总是同时成为瓶颈。同样的算式可因工作集大小和数据复用方式不同而产生不同等待;要改善执行,必须先识别当前资源限制。

从本页继续阅读

本页证据与条件

计算、存储、搬运关系为教学示意;未给出硬件基准或通用最优配置。

进入主题正文