模型还要被调用很多次

刚才固定的是训练计算。实际研究或产品还要继续使用模型，调用一次与调用一百万次，选择可能不同。若较小模型经过更充分训练达到所需质量，每次使用的计算和存储压力可能更低。调用很多时，省下的使用成本可能补偿额外训练投入；调用很少则未必。这里没有对所有项目都成立的阈值，因为请求长度、硬件、批量、延迟和质量都参与计算。我们既不能只看参数大小，也不能只看训练账单的一次支付。同样，较低成本方案如果达不到任务要求，也没有因为便宜就自动合格。先比较满足质量和使用约束的配置，再讨论其中哪个更划算，才有实际意义。

还有一个直接问题：算术预算够，训练能不能真正放进设备？参数要存，更新状态要存，中间计算也占空间；多张卡工作还要交换数据。同样数量的运算，若搬运和等待安排不好，实际时间会很不同。因此工程不是附加名词，而是在回答训练计划怎样执行。我们回到开场八十亿参数、裸权重十六GB的教学模型，这一次所有参数都参与训练。第一件事就是把账算全：除了权重，训练还要保存什么？下一页从每一个可见状态开始数。