固定预算，模型与训练量怎样取舍？
本页问题
在固定主要算术预算 C 下，近似关系 C≈6ND 把参数数量 N 与实际训练消费 D 联系起来。N 翻倍、D 减半保持近似预算，却不保证效果相同。库存、重复消费、算术量、墙钟时间和费用必须分别计量。
RC-C1/b0 · 模型与消费
刚才我们区分了更新参数与改变当前输入。若决定训练，先看投入怎样分配。N 是参数数量，D 是实际消费的训练 token 数；同一段材料读三遍，要计三遍。更大的模型通常使每个 token 的计算更贵，在总预算固定时，就不能同时任意增加训练量。
教师备课：指图与模拟问答
指图与推进 · 不朗读指模型N、训练流D与灰色库存，区分库存与消费。
本态来源与条件
课堂预算构造；C≈6ND 为稠密 Transformer 主要算术近似，参考 Chinchilla §3.3
RC-C1/b1 · 主要算术量近似
对这里讨论的常见稠密 Transformer，用 C 约等于六 ND 估算主要前向与反向算术量。六概括这一计算口径，N 与 D 分别对应模型和训练流。它不是训练耗时或价格公式；长序列、架构与具体执行还会引入其他成本。
进一步解释
C≈6ND 是常见稠密模型的主要算术近似。不能把 MoE 的总参数不加区分代入，也不能将它当作同设备墙钟时间或货币成本。
教师备课：指图与模拟问答
指图与推进 · 不朗读指C≈6ND，并分别回连N、D。
本态来源与条件
课堂预算构造；C≈6ND 为稠密 Transformer 主要算术近似，参考 Chinchilla §3.3
RC-C1/b2 · 锁住预算，再分配
把 C 锁住：如果 N 翻倍，D 就约减半。式子建立了可比较的配置，却没有给出性能胜负。小模型多读一点、大模型少读一点，哪种在这笔预算内更有效？下一页在真实的固定预算实验中比较训练损失。
进一步解释
保留的教学配置 4B/400B 与 8B/200B 均为 9.6×10²¹ FLOPs；它们不是下一页 3×10²⁰ FLOPs 曲线上的实验点。
教师备课：指图与模拟问答
指图与推进 · 不朗读指固定C、2N与D/2；不把它读成模型性能结论。
本态来源与条件
课堂预算构造；C≈6ND 为稠密 Transformer 主要算术近似，参考 Chinchilla §3.3
接下来
公式只给约束，实际分配效果交给实验。
补充推导、边界与来源
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N41：同一笔计算，怎样分给模型和材料？
N 是参数数量，D 是训练实际消费的 token 数，C 是主要训练算术量。重复读同一材料会重复计入 D；独特内容库存不是 D。对常见稠密 Transformer，$C\approx6ND$ 概括主要前向与反向计算，长上下文、架构及实现会增加修正项。它不直接给出墙钟时间或货币成本，也不能把 MoE 总参数未经区分代入。
同一原始配置下，N 与 D 各翻倍得到约 4C；先恢复原始配置后再固定 C，N 翻倍才对应 D 减半。这个算式只生成可比较的配置，不决定哪种配置更好。
完整预算口径、Kaplan 两种横轴及生命周期成本；原预算算例。
原 N42：模型翻倍，剩下的训练量减半
原 N42 材料两张教学配置卡使用十进制 B（十亿）：$6(4\times10^9)(400\times10^9)=6(8\times10^9)(200\times10^9)=9.6\times10^{21}$ FLOPs。它们没有在本课程实际训练，也没有测得比较成绩。
随后采用 Chinchilla v1 Figure 3 物理 p.6 的真实实验，先选择性呈现 $3\times10^{20}$ FLOPs 预算曲线并保留原坐标、实验点和虚线拟合。该预算与构造卡不同，构造卡不是曲线上的数据点。横轴参数用对数刻度，纵轴是训练损失；沿同一预算线改变 N 时，对应训练消费 D 也在改变。论文为不同训练长度匹配学习率日程，不能把一次训练的中途 loss 截点当作同一类实验。
本页证据与条件
课堂预算构造；C≈6ND 为稠密 Transformer 主要算术近似，参考 Chinchilla §3.3