模型翻倍，剩下的训练量减半

左边这套方案用四十亿参数，训练消费四千亿token；右边把参数增加到八十亿，消费量降为两千亿token。按刚才的近似，两者都是九点六乘十的二十一次方FLOPs。请先看清我们真正比较的是什么：两边花掉的主要算术预算相同，但用预算的方式不同。这两套是课堂算例，我们没有在这里训练它们，更没有替它们编造分数。

接下来换成论文的真实实验。图里先只留下三乘十的二十次方FLOPs这一条线。它使用另一笔预算，刚才的两张配置卡不是这张图上的两个点。我们换材料的目的，是让实验接手回答公式回答不了的问题：预算一样时，最后的预测损失到底怎样变化？

先读坐标再看趋势。横轴是参数规模，使用对数刻度；纵轴是训练损失，越低越好。沿同一条线往右，不只是在增加参数，也是在减少该预算下能消费的训练token。圆点来自训练实验，虚线是拟合。纵轴的损失评价模型预测后词的表现，并不是用户对最终回答满意程度的直接分数。把这条对应关系留在眼前，我们再从左走到右，看看哪里把预算用得更好。