本页学习说明
本页两张教学配置卡使用十进制 B（十亿）：$6(4\times10^9)(400\times10^9)=6(8\times10^9)(200\times10^9)=9.6\times10^{21}$ FLOPs。它们没有在本课程实际训练，也没有测得比较成绩。
随后采用 Chinchilla v1 Figure 3 物理 p.6 的真实实验，先选择性呈现 $3\times10^{20}$ FLOPs 预算曲线并保留原坐标、实验点和虚线拟合。该预算与构造卡不同，构造卡不是曲线上的数据点。横轴参数用对数刻度，纵轴是训练损失；沿同一预算线改变 N 时，对应训练消费 D 也在改变。论文为不同训练长度匹配学习率日程，不能把一次训练的中途 loss 截点当作同一类实验。
Chinchilla 原文 §3.2 / Figure 3；完整原图及说明。
阅读完整讲义