第三问:算式成立,机器怎样把它算完?
本页问题
让一次矩阵计算真正发生,除了运算,还需要哪些存储与搬运?沿同一份参数和当前状态追踪。
OV09/b0 · 算多少、存多少、搬多少?
可执行的计算包含参数与当前状态的存储、读取、运算和结果写回。计算量、存储容量及数据搬运是相互关联但不同的约束;算式正确,并不保证设备装得下或能以可接受的延迟执行。训练需要保存与更新有关的额外对象,使用需要处理当前请求状态。规模的收益取决于数据与训练条件,实际选择还须同时衡量执行代价。
进一步解释
本页是硬件执行的机制示意,没有指定 GPU 型号、吞吐实测或通用价格。训练状态账、分片、分块 attention、prefill/decode 与 KV 的具体对象与边界,保留在正文系统段逐一建立。
教师备课:指图与模拟问答
指图与推进 · 不朗读从存储中的参数/当前状态沿读取箭头到计算单元,再沿写回箭头返回;指算、存、搬三个问题,只定位训练与使用差异。
本态来源与条件
计算、存储、搬运关系为教学示意;未给出硬件基准或通用最优配置。
接下来
带着承载、证据和执行三个问题,先走进最小的读取装置。
补充推导、边界与来源
再想一步
计算、存储与搬运并不总是同时成为瓶颈。同样的算式可因工作集大小和数据复用方式不同而产生不同等待;要改善执行,必须先识别当前资源限制。
从本页继续阅读
- 一次更新要保留哪些对象:从8B教学配置区分权重、梯度、主权重和优化器状态。
- 搬运怎样改变执行代价:看分块 attention 保留计算关系而改变读写组织。
- 当前请求怎样产生状态:区分 prefill、逐步生成与 K/V 追加。
本页证据与条件
计算、存储、搬运关系为教学示意;未给出硬件基准或通用最优配置。