四张卡分担数据，为什么仍各存一份？
正在载入课堂画面…
数据并行中，每张卡处理不同数据，但每批数据都经过整个模型。各卡参数梯度经汇总后执行一致更新，所以模型副本维持一致。本课 DDP 设定下，各卡都长期保存完整工作权重、梯度和优化器状态：每卡128GB，不因四卡总容量而自动除以四。
层用 L₁…Lₙ 表示，参数分片用 θ₀…θ₃ 表示，不能混为各卡分管不同层。TP 切分同一层的张量计算，PP 分配不同层并安排微批流水线，这些与数据并行的身份不同。
DDP、TP、PP与流水气泡；旧四卡图与详细说明。