本页学习说明
在本课四卡混合精度账本下，ZeRO-1 仅分片优化器相关状态，每卡 $16+16+96/4=56$ GB；ZeRO-2 再分片梯度，$16+16/4+96/4=44$ GB；ZeRO-3 再分片工作权重，$128/4=32$ GB。上述均是持久状态小计。
实线框保存本卡长期负责的片；当前层计算之前，通过 all-gather 暂时取得该层完整参数视图，虚线框只代表这一层而非整个模型。本卡数据仍走全部层。当前层计算后可释放临时完整视图，再为下一层安排参数。真实 ZeRO/FSDP 实现会选择预取、驻留和通信重叠策略；临时视图、激活与缓冲使运行峰值高于32GB。
七步训练及ZeRO1/2/3完整账本；原展开页。
阅读完整讲义