分开保管，也能共同更新同一个模型

继续看刚才那四张卡。它们根据自己的数据得到损失，再从后往前计算梯度。当前层若需要没有驻留的参数，就按训练安排重新取得。现在，同一个参数会收到来自四批数据的梯度贡献；不能让四张卡各自悄悄改一片、完全不交换信息，否则得到的就不是共同训练的这一个模型。

看颜色相同的梯度。以负责零号片的卡为例，它接收数据A、B、C、D对同一片参数的贡献，汇总后只留下自己负责的结果。其他颜色分别送给各自负责的卡。这种一边归约、一边按保存责任分散结果的动作叫 reduce-scatter。这里加的是同一个参数的贡献，不是把不同参数混在一起。

拿到汇总梯度的卡，读取自己保存的主权重和 m、v，完成所属片的更新。新的主权重和更新历史继续留在负责卡，主权重也形成新的工作权重分片。其他卡不必长期保存这一片的完整梯度和优化器状态；它们下一次需要参数时，再取得共同更新后的版本。

到下一轮，需要这一层时，大家取得的是共同更新后的参数。于是一次训练闭环完成了：各卡处理自己的数据，必要参数临时取齐，梯度共同汇总，各片由负责者更新。我们改了保存与通信的组织，没有把训练目标拆成四个无关目标。临时视图可以释放，通信和激活仍会影响峰值。这个办法回答了怎样少存重复状态；接下来还要回答，在一张卡里面，数据为什么可能搬得比算得更费事。