同一笔计算，怎样分给模型和材料？

刚才我们已经看清，示范可以放在本次输入里，也可以用来继续训练参数。现在先把使用时的请求放在一旁，回到大规模预训练：如果我们有一笔确定的训练预算，到底应该做一个更大的模型，还是让模型多读一些材料？这不是两件可以分别追求最大的事。

看模型旁边的N，它是参数数量；再看流过训练程序的文本，D是实际消费的token数。同一段材料读三遍，三遍都要计算，所以D也计三次。材料库里有多少独特内容，则是另一个问题。

我们暂时用稠密Transformer的常见近似C约等于6ND来数总算术量。六概括了主要前向和反向计算，不是所有架构、所有长序列的精确账本，也不能直接换成训练几小时。参数多意味着每次读材料都要经过更大的计算，材料多意味着这样的计算要重复更多次。

现在同时做两件事：模型框里的 N 变成 2N，文本流里的 D 也变成 2D。把它们代回同一乘法，两个二相乘，主要算术量就约为原来的四倍。这个状态增加了预算，还没有在讨论固定预算下的选择。

先把屏幕恢复为原来的 N、D 和 C。这一步只是恢复比较基线，没有进行一轮新的训练。下一次推进才把 C 固定，检查同一笔预算能怎样重新分配。

若预算C不动，模型翻倍，每个token更贵，能读的token便大约减半。公式告诉我们选择之间如何牵连，却没有告诉我们哪种分配效果最好。我们把这个取舍写成两套具体方案，再看实验怎样回答。