本页学习说明
一次更新先用工作权重做前向，给真实后词分配概率并计算 loss；反向沿计算图求出参数梯度。梯度表示当前损失对参数的局部变化关系，不是另一份模型知识或生成答案。反向还要使用前向激活或重算得到的中间量。
本课程采用混合精度 Adam 教学设定：BF16 工作权重与低精度梯度、FP32 主权重，以及两份 FP32 历史统计 m/v。优化器据此更新主权重，再形成工作权重供后续计算。实际实现可以采用不同精度和状态策略；这不是唯一训练实现。
完整训练状态账本；ZeRO §3.1（原论文讨论 FP16，本课用 BF16 设定）。
阅读完整讲义