本页学习说明
同一参数在不同数据批次上产生不同梯度贡献。reduce-scatter 将同一个参数的贡献归约，并把结果交给负责该分片的卡；不把不同参数的梯度混加。若训练目标用批次平均损失，归约时还需要与目标口径一致的缩放。
本卡拿到所属参数的共同梯度后，使用自己保存的主权重和 m/v 更新所属片。下一轮 all-gather 取得这些共同更新后的参数，因此所有数据仍在训练同一个模型。完整闭环是：各卡数据前向→需要时取齐层参数→反向产生梯度→按同参数归约分散→所属卡更新→释放临时量→下一轮取得新参数。
ZeRO §5.2、§7.2，物理p.10、14；保留的七步展开与预取/峰值说明。
阅读完整讲义