16 GB 的模型，训练状态可以是 128 GB

我们先只放工作权重。八十亿个参数，每个用两个字节保存，就是十六GB，这里用十进制单位。这个数字可以描述下载文件中这部分权重的大小，却还不能回答能否训练。沿着上一页的训练动作，其他对象会陆续出现。

现在把其余四条同时放进账本，再沿着上一页的产生顺序逐项读。本例梯度每个参数也保存两个字节，因此是十六GB。FP32 主权重每个数四字节，是三十二GB；两份 FP32 统计，各自又是三十二GB。右边把每个参数对应的字节相加，得到十六字节。最大的几条来自更新所需状态，不是我们额外增加了模型层数。

现在才把总和框出来：十六加十六，再加三份三十二，持久状态小计是一百二十八GB。请看下面保留的限定：这不是运行峰值。前向激活、当前算子的临时空间、通信缓冲都可能继续占用内存。其他精度或优化器实现也要重新记账，不能把一百二十八当成所有八十亿参数模型的固定需求。

权重文件能放下，不代表训练现场能放下。右边出现四张卡的轮廓：增加到四张卡，是否每张卡就自然只保存四分之一？先看最直接的数据并行。