本页学习说明
Chinchilla Figure 3 比较固定主要计算量下不同参数规模和训练消费的组合。单预算线两侧损失高于谷底附近，提示容量与受训程度需要共同配置；恢复多预算线后，必须区分分配变化与总投入变化。后续 8B 仅为显存教学配置。
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N42：模型翻倍，剩下的训练量减半
原 N42 材料两张教学配置卡使用十进制 B（十亿）：$6(4\times10^9)(400\times10^9)=6(8\times10^9)(200\times10^9)=9.6\times10^{21}$ FLOPs。它们没有在本课程实际训练，也没有测得比较成绩。
随后采用 Chinchilla v1 Figure 3 物理 p.6 的真实实验，先选择性呈现 $3\times10^{20}$ FLOPs 预算曲线并保留原坐标、实验点和虚线拟合。该预算与构造卡不同，构造卡不是曲线上的数据点。横轴参数用对数刻度，纵轴是训练损失；沿同一预算线改变 N 时，对应训练消费 D 也在改变。论文为不同训练长度匹配学习率日程，不能把一次训练的中途 loss 截点当作同一类实验。
Chinchilla 原文 §3.2 / Figure 3；完整原图及说明。
原 N43：谷底随预算移动，不能只追求参数更多
沿单条预算线移动，比较的是固定计算预算下模型规模和训练消费的分配。小模型一侧可能受容量限制；大模型一侧则可能在充分受训前耗尽预算。谷底附近是指定模型、数据、训练与评价条件下的证据，不是永久比例，也不是越大越好的证明。
恢复多预算原图后，换曲线表示改变总训练投入。图中不从像素估算未经表值支持的精确最优坐标。8B 是后段统一教学配置，不对应声称的某个最优点。训练 loss 也不是用户满意度；高频使用时还应考虑服务成本。
Kaplan / Chinchilla / Gopher 与生命周期成本；MoE 总参数、激活参数与异构承载。稠密 6ND 不无条件套用 MoE 总参数。
阅读完整讲义