70B，为什么值得与280B比较？

这里有一个特别容易记住的历史对照。Chinchilla约七百亿参数，训练一点四万亿token；Gopher约两千八百亿参数，训练三千亿token。前者模型明显更小，却训练了更多材料。论文把它们放在相近训练计算预算下比较，Chinchilla在报告的多项评价中表现更好。这个结果提醒我们，不能看到两千八百亿大于七百亿，就先决定哪个配置更有效。训练量以及怎样训练，都在改变结果。这里的B代表十亿，T代表万亿，要把单位与数字一起读。

但这不是只动了两个旋钮的完美消融。优化器、分词器和数据配方也有变化，不能把全部收益精确归给参数和token比例。规模数字又经过舍入，代回六ND不能宣布训练计算严格相等。正确读法是：前面的系统实验提出资源分配方向，这次较大规模训练为整体配置提供检验，同时保留尚未隔离的因素。我们学的是基于证据比较训练计划。假如这个模型会被调用很多次，最划算的选择还可能改变，下一页把使用也算进来。如果后续要专门研究因果贡献，就需要进一步控制这些变化或做对应消融。保留这个问题不会抹掉现有结果的价值，而是让下一步实验知道还缺什么证据。