Scaling Law 让我们看见投入与效果的关系
本页问题
投入增加时，损失怎样变化？预算不变时，又该怎样分配模型规模与训练数据？这两个问题需要分开。
OV04/b0 · 条件范围内，投入扩大对应近似幂律损失下降；固定预算还要分配。
在特定模型、数据与训练范围内，扩大模型规模和训练投入，交叉熵损失可呈近似幂律下降。这种经验趋势可以拟合，却不是“参数越多，所有能力必然越好”。若训练计算预算固定，则要共同选择模型参数量 N 与训练 token 数 D：把预算更多分给模型，就会限制可用于训练的数据量。总投入增加与固定预算内分配是两个不同问题。后文再用原论文实验图比较配置；这里不设通用指数或最佳比例。
进一步解释
Kaplan 等人的 Scaling Laws 研究特定模型、数据与计算条件下的损失关系；Chinchilla 研究固定训练计算预算下模型参数与训练 token 的分配。不同研究的训练条件与最优拟合不能混成一个不变比例，训练计算最优也不等于部署的经济最优。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指右侧“投入扩大→损失下降”及适用范围，再指左侧 N／D／C 区分固定预算的配置；留一次停顿，让两种问题分开，不把经验趋势讲成所有能力的保证。
本态来源与条件
定性关系图；一手依据为 Scaling Laws 与 Chinchilla，不含新增实测曲线。
接下来
当参数暂时不变，只在输入里给几个示例，又改变了什么？
补充推导、边界与来源
再想一步
“近似幂律”表示在所研究范围内，投入按比例扩大时，损失的变化可由经验函数拟合；它不是每次加同样数量参数就下降相同损失。固定预算问题则比较多组 N 与 D 的组合，而不是在原训练量上无限增加参数。拟合的指数、最佳比例和适用范围要回到各篇论文，不能跨实验直接照搬。
从本页继续阅读
- 固定计算预算怎样分配：正文结合 Chinchilla 实验图比较参数规模与训练量。
- Scaling Laws 原研究：阅读模型、数据、训练计算与交叉熵损失的经验关系和适用条件。
- Chinchilla 原研究：比较固定训练计算预算下模型大小与数据量的分配。
本页证据与条件
定性关系图；一手依据为 Scaling Laws 与 Chinchilla，不含新增实测曲线。