把相同的状态分开保管

我们保持四张卡的位置不动，只改变每块状态的保存责任。第一步先分最大的那一组：主权重和两份动量，九十六 GB 分成四份，每卡二十四。权重十六和梯度十六暂时不动，所以每卡变成五十六 GB。这叫 ZeRO 第一阶段。你可以把图上同色的四分之一拼回去：全系统仍然保存完整状态，只是不再每卡都留一整套。

第二阶段连梯度也分开保管。原来的十六变成每卡四 GB，加上完整权重十六和优化器状态二十四，得到四十四 GB。这里的分工同时要求我们改变通信：计算出来的梯度要汇总到负责相应片段的设备，不能让四份彼此无关的局部梯度各自更新。图上的总量变化来自复制减少，并不是把数值精度偷偷降低，也不是少训练了一部分参数。

第三阶段把工作参数也分片，每卡再从十六降到四。三类状态合起来是三十二 GB。我们得到了一条可以复算的下降路线：一百二十八、五十六、四十四、三十二。但这张图只是长期怎么存，还没有回答临时怎么算。如果每卡只有四分之一参数，它怎么让自己的数据走完全部层？下一页慢一点，把收集、计算、释放、反向和更新都走完。