同一笔计算，分给模型还是数据？
S01/b0 · 三个量
视角切回稠密 Transformer 预训练；计算口径是近似预算。
常见稠密训练近似；忽略部分架构、长序列与系统开销，不是所有模型的精确账单。
前面看视觉实验时，我们问的是：扩大训练条件以后，架构的表现会怎样改变。现在任务已经明确，预算却有限，我们换一个问题：同一笔计算应该分给多大的模型、多少训练数据？N 是参数数量，D 是训练实际消费的 token 数，C 是训练计算量。同一段材料读三遍，D 也计三遍；它不是数据库里独特材料的库存。
教师备课：指图与模拟问答
指图与推进 · 不朗读逐一指N/D/C；顶端保留“稠密预训练”模式。
S01/b1 · 四倍计算
视角切回稠密 Transformer 预训练；计算口径是近似预算。
常见稠密训练近似；忽略部分架构、长序列与系统开销，不是所有模型的精确账单。
先用稠密 Transformer 的常见近似 C 约等于 6ND 建立预算直觉。参数翻倍，每个 token 的主要计算更贵；训练 token 也翻倍，总计算大约变为四倍。系数六概括主要前向与反向计算，长上下文和不同架构会改变精确账本。这是算术量估计，不能直接读成训练小时数。
教师备课：指图与模拟问答
指图与推进 · 不朗读显出×2、×2、×4；给计算观察停顿。
S01/b2 · 固定预算取舍
视角切回稠密 Transformer 预训练；计算口径是近似预算。
常见稠密训练近似；忽略部分架构、长序列与系统开销，不是所有模型的精确账单。
把 C 固定住，N 翻倍时，能够消费的 D 就大约减半。于是一个更大的模型，可能没有读足材料；一个更小的模型，可能读得更多，却受容量限制。公式提出了取舍，但最好的分配不能靠公式自己给出。接下来只沿论文的一条固定预算曲线读，用真实训练结果判断。
教师备课：指图与模拟问答
指图与推进 · 不朗读固定C框；在N与D之间标预算取舍，进入原图。
补充推导、边界与来源
前面视觉段考察扩大训练条件后的模型表现；这里把总训练计算固定，比较如何分配模型规模和训练量。这两个问题相关，但不能用前一个问题的结论替代后一个问题的实验。
本段回到稠密模型预训练。N表示模型参数量，D表示训练实际消费的token数，C表示训练计算量。常见估算C≈6ND把前向与反向的主要矩阵运算纳入简化预算，忽略或近似了一些架构、长上下文和实现相关项，不是所有模型的精确成本公式。
在这个口径下，N与D各翻倍，计算约为原来的4倍；若C固定，增大N就要减少D，反之亦然。D不是独特数据库存，重复读取也计入消费token。这个关系用于安排可比较的训练计划，实际墙钟时间、峰值显存与通信成本还要在后面的系统账本中分别计算。
本页证据与条件
稠密Transformer常用训练计算近似；数值关系为教学计算