本页学习说明
在固定主要算术预算 C 下，近似关系 C≈6ND 把参数数量 N 与实际训练消费 D 联系起来。N 翻倍、D 减半保持近似预算，却不保证效果相同。库存、重复消费、算术量、墙钟时间和费用必须分别计量。
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N41：同一笔计算，怎样分给模型和材料？
N 是参数数量，D 是训练实际消费的 token 数，C 是主要训练算术量。重复读同一材料会重复计入 D；独特内容库存不是 D。对常见稠密 Transformer，$C\approx6ND$ 概括主要前向与反向计算，长上下文、架构及实现会增加修正项。它不直接给出墙钟时间或货币成本，也不能把 MoE 总参数未经区分代入。
同一原始配置下，N 与 D 各翻倍得到约 4C；先恢复原始配置后再固定 C，N 翻倍才对应 D 减半。这个算式只生成可比较的配置，不决定哪种配置更好。
完整预算口径、Kaplan 两种横轴及生命周期成本；原预算算例。
原 N42：模型翻倍，剩下的训练量减半
原 N42 材料两张教学配置卡使用十进制 B（十亿）：$6(4\times10^9)(400\times10^9)=6(8\times10^9)(200\times10^9)=9.6\times10^{21}$ FLOPs。它们没有在本课程实际训练，也没有测得比较成绩。
随后采用 Chinchilla v1 Figure 3 物理 p.6 的真实实验，先选择性呈现 $3\times10^{20}$ FLOPs 预算曲线并保留原坐标、实验点和虚线拟合。该预算与构造卡不同，构造卡不是曲线上的数据点。横轴参数用对数刻度，纵轴是训练损失；沿同一预算线改变 N 时，对应训练消费 D 也在改变。论文为不同训练长度匹配学习率日程，不能把一次训练的中途 loss 截点当作同一类实验。
Chinchilla 原文 §3.2 / Figure 3；完整原图及说明。
阅读完整讲义