Scaling Law 让我们看见投入与效果的关系
正在载入课堂画面…
“近似幂律”表示在所研究范围内，投入按比例扩大时，损失的变化可由经验函数拟合；它不是每次加同样数量参数就下降相同损失。固定预算问题则比较多组 N 与 D 的组合，而不是在原训练量上无限增加参数。拟合的指数、最佳比例和适用范围要回到各篇论文，不能跨实验直接照搬。