本页学习说明
沿单条预算线移动，比较的是固定计算预算下模型规模和训练消费的分配。小模型一侧可能受容量限制；大模型一侧则可能在充分受训前耗尽预算。谷底附近是指定模型、数据、训练与评价条件下的证据，不是永久比例，也不是越大越好的证明。
恢复多预算原图后，换曲线表示改变总训练投入。图中不从像素估算未经表值支持的精确最优坐标。8B 是后段统一教学配置，不对应声称的某个最优点。训练 loss 也不是用户满意度；高频使用时还应考虑服务成本。
Kaplan / Chinchilla / Gopher 与生命周期成本；MoE 总参数、激活参数与异构承载。稠密 6ND 不无条件套用 MoE 总参数。
阅读完整讲义