有多少数据，不等于训练读了多少

先只看左边两列。这是GPT-3论文公开的数据配方，B表示十亿个token。过滤后的Common Crawl大约四千一百亿个token，Wikipedia大约三十亿。两者相差很大。如果停在这里，我们容易以为训练中看到的信息就按库存大小自然分配了。实际上还没有。训练程序下一步要决定，每个批次从哪类材料抽取多少，因此还要读右边的混合权重。数据规模回答的是有多少可用材料，采样回答的是训练多经常接触它。

Common Crawl的混合权重是百分之六十，论文表中在总共训练三千亿token的预算下，大约消费零点四四轮。Wikipedia权重只有百分之三，却因为库存小，约消费三点四轮。这个对比很有用：更大的库并不一定完整读一遍，小一些的库则可能重复多遍。这里的轮数是消费量除以库存量的近似概念，不要想成每篇文章都严格排队读三次再读十分之四次。随机采样、过滤和原表舍入都会影响细节。再看WebText2，库存十九B，却占百分之二十二的混合权重，约读二点九轮；Books2库存五十五B，权重百分之八，约零点四三轮。把它们并排，能再次看到库存大小没有决定消费次数。

现在把WebText2、两组Books也放回表里。它们说明训练混合并不只有“网络文本越多越好”这一种选择。为了让读表诚实，我们还要保留一个很小的细节：原表权重经过舍入，加起来是一百零一个百分点；这不是让我们悄悄改其中一项，而是提醒我们它是一张报告表，不是可直接复制的精确采样配置。真正做自己的训练时，需要根据质量、任务覆盖、重复、成本和评价调整配方。至于这种训练能否把能力带到新任务，配方本身不能证明，接下来要看一个消融比较。