返回课堂

沿一条真实预算线,看哪里用得更好

本页问题

Chinchilla Figure 3 比较固定主要计算量下不同参数规模和训练消费的组合。单预算线两侧损失高于谷底附近,提示容量与受训程度需要共同配置;恢复多预算线后,必须区分分配变化与总投入变化。后续 8B 仅为显存教学配置。

RC-C2/b0 · 先读轴与比较条件

Chinchilla Figure 3:参数规模与平滑训练损失,3×10²⁰ FLOPs固定预算线,实测点和虚线拟合
先读轴与比较条件

这是 Chinchilla 的真实训练实验。横轴是参数 N,采用对数刻度;纵轴是平滑训练损失,越低越好。先只看三乘十的二十次方 FLOPs 这条预算线:圆点来自实验,虚线是拟合。沿线向右增大模型时,训练消费 D 随之减少,不是只改变参数数量。

进一步解释

保留 Chinchilla v1 Figure 3 的原坐标、实验点和虚线拟合;选择性呈现来自同一原图,不从像素拟造精确最优 N。

教师备课:指图与模拟问答

指图与推进 · 不朗读指原图坐标、单预算标记、点与拟合,不从像素报精确最优值。

本态来源与条件

Chinchilla v1 Fig.3 / Appendix F;课堂预算构造与论文实验分开

RC-C2/b1 · 较小模型一侧

Chinchilla Figure 3:参数规模与平滑训练损失,3×10²⁰ FLOPs固定预算线,实测点和虚线拟合
较小模型一侧

左侧模型小,每个 token 较便宜,所以同一预算能支持更多训练消费。可是图上的损失仍高于谷底附近:反复训练无法无限补偿容量与表示能力的限制。这是对这一组曲线的解释,不能推广成所有小模型的固定命运。

教师备课:指图与模拟问答

指图与推进 · 不朗读指原图左侧圈定范围和右侧N小/D多说明。

本态来源与条件

Chinchilla v1 Fig.3 / Appendix F;课堂预算构造与论文实验分开

RC-C2/b2 · 谷底与较大模型一侧

Chinchilla Figure 3:参数规模与平滑训练损失,3×10²⁰ FLOPs固定预算线,实测点和虚线拟合
谷底与较大模型一侧

先对照谷底,再看右侧。谷底附近的配置取得较低损失;继续增大模型时,可训练的 token 更少,模型可能尚未充分受训就耗尽预算。因此问题是共同选择 N 和 D,不是单独把模型或训练量做到最大。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指谷底,再指右侧较大N范围,与两侧对照。

本态来源与条件

Chinchilla v1 Fig.3 / Appendix F;课堂预算构造与论文实验分开

RC-C2/b3 · 恢复其他预算线

Chinchilla Figure 3:参数规模与平滑训练损失,多条固定预算线,实测点和虚线拟合
恢复其他预算线

恢复其他预算线以后,比较有了两个方向:沿同一条线移动是在分配同一笔投入;换到另一条线才是改变总投入。谷底随条件移动,给出的是这组数据、目标和训练日程下的经验规律。训练损失仍需与实际任务表现分开评价。

进一步解释

沿线比较与跨线比较是两种实验问题。多预算曲线不能证明参数越多就越好,也不能将训练损失直接换算为用户满意度。

教师备课:指图与模拟问答

指图与推进 · 不朗读指多条原预算线和两组比较范围,保持原坐标可读。

本态来源与条件

Chinchilla v1 Fig.3 / Appendix F;课堂预算构造与论文实验分开

RC-C2/b4 · 从纸面配置进入设备

Chinchilla Figure 3:参数规模与平滑训练损失,多条固定预算线,实测点和虚线拟合
从纸面配置进入设备

接下来选八十亿参数作为统一的显存算例。它只是便于逐项记账的配置,不是从图中读出的最优点。参数规模定下来以后,还不能直接判断设备能否训练:一次更新要保存的对象,是否只有模型权重?

教师备课:指图与模拟问答

指图与推进 · 不朗读指原图仍在、右侧8B教学配置卡,再转到状态账。

本态来源与条件

Chinchilla v1 Fig.3 / Appendix F;课堂预算构造与论文实验分开

接下来

选8B作统一账本配置,再看设备里要保存什么。

补充推导、边界与来源

进一步阅读

条件与来源

以下从计算对象、条件与原始证据继续展开。

原 N42:模型翻倍,剩下的训练量减半

原 N42 材料两张教学配置卡使用十进制 B(十亿):$6(4\times10^9)(400\times10^9)=6(8\times10^9)(200\times10^9)=9.6\times10^{21}$ FLOPs。它们没有在本课程实际训练,也没有测得比较成绩。

随后采用 Chinchilla v1 Figure 3 物理 p.6 的真实实验,先选择性呈现 $3\times10^{20}$ FLOPs 预算曲线并保留原坐标、实验点和虚线拟合。该预算与构造卡不同,构造卡不是曲线上的数据点。横轴参数用对数刻度,纵轴是训练损失;沿同一预算线改变 N 时,对应训练消费 D 也在改变。论文为不同训练长度匹配学习率日程,不能把一次训练的中途 loss 截点当作同一类实验。

Chinchilla 原文 §3.2 / Figure 3;完整原图及说明。

原 N43:谷底随预算移动,不能只追求参数更多

沿单条预算线移动,比较的是固定计算预算下模型规模和训练消费的分配。小模型一侧可能受容量限制;大模型一侧则可能在充分受训前耗尽预算。谷底附近是指定模型、数据、训练与评价条件下的证据,不是永久比例,也不是越大越好的证明。

恢复多预算原图后,换曲线表示改变总训练投入。图中不从像素估算未经表值支持的精确最优坐标。8B 是后段统一教学配置,不对应声称的某个最优点。训练 loss 也不是用户满意度;高频使用时还应考虑服务成本。

Kaplan / Chinchilla / Gopher 与生命周期成本;MoE 总参数、激活参数与异构承载。稠密 6ND 不无条件套用 MoE 总参数。

本页证据与条件

Chinchilla v1 Fig.3 / Appendix F;课堂预算构造与论文实验分开

进入主题正文