本页学习说明
这里展示“算完即释放完整层参数”的教学调度。每张数据并行卡都有自己的输入，并依次执行全部层。计算某层前，通过 all-gather 汇集该层分片；本地前向完成后释放临时完整参数，保留所属分片。全网前向形成损失以后，反向沿层返回，需要时再次收集该层参数，计算本地梯度；reduce-scatter 将跨数据卡的梯度汇总并分给相应所有者；各卡更新自己负责的主权重、动量与工作参数分片。
all-gather 是“把各处分片拼成完整视图”，reduce-scatter 是“先合并贡献，再分开保留结果”。实际实现可能预取、复用或延长参数驻留以换取通信效率，所以 32 GB 不代表峰值。DeepSpeed ZeRO 与 PyTorch FSDP 都可用于这类分片训练，但具体策略需按实现和版本核对。
阅读完整讲义