本页学习说明
N 是参数数量，D 是训练实际消费的 token 数，C 是主要训练算术量。重复读同一材料会重复计入 D；独特内容库存不是 D。对常见稠密 Transformer，$C\approx6ND$ 概括主要前向与反向计算，长上下文、架构及实现会增加修正项。它不直接给出墙钟时间或货币成本，也不能把 MoE 总参数未经区分代入。
同一原始配置下，N 与 D 各翻倍得到约 4C；先恢复原始配置后再固定 C，N 翻倍才对应 D 减半。这个算式只生成可比较的配置，不决定哪种配置更好。
完整预算口径、Kaplan 两种横轴及生命周期成本；原预算算例。
阅读完整讲义