本页学习说明
以下全部采用十进制 GB，$1GB=10^9$ bytes，N=8×10⁹ 参数。
| 状态 |
每参数字节 |
本课容量 |
| BF16 工作权重 |
2 |
16 GB |
| 低精度梯度 |
2 |
16 GB |
| FP32 主权重 |
4 |
32 GB |
| FP32 统计 m |
4 |
32 GB |
| FP32 统计 v |
4 |
32 GB |
| 持久状态小计 |
16 |
128 GB |
图中五条从相同零点起，16GB 条长是32GB条的一半。128GB 不包括激活、临时算子空间、通信缓冲及运行环境；不能当实际运行峰值，也不是所有8B模型的固定训练需求。
分布训练正文 保留精度、激活重算和峰值条件；原账本说明。
阅读完整讲义