存成4-bit，不等于全程4-bit计算

LoRA已经让我们不用更新整个底座，但底座权重仍然要放在设备或可访问的内存里。QLoRA进一步把冻结底座用低位格式保存。比如说四bit，是在描述这里的权重表示，比每参数两个字节更省空间；实际还会有分组常数、元数据和其他状态，所以不能只用一个除法就当成完整训练显存。原论文采用NF4这种四位数值格式，并用双重量化进一步压缩量化常数。它们解决的是如何表示和保存这些数值，详细编码放在主题阅读和Lab。低位保存会把一段连续数值映射到有限表示值，恢复时通常不能逐个还原原始权重。所以它是一种近似压缩，省下存储之后仍要检查输出和任务表现。

计算时并不是把所有乘法、累加和梯度都变成四bit。底座权重按需要反量化，参与较高精度的计算；旁边的LoRA参数仍按自己的精度计算和更新。训练的梯度经过整个所需计算路径，最后更新的是适配参数，冻结底座没有因此变成可训练的四bit权重。分页优化器则处理另一类问题：训练过程中内存压力怎样管理。工具名称也可以放回这些位置，PEFT组织适配模块，bitsandbytes提供相关低位实现和优化器。名称很多，但各自在解决具体的一段工作。

量化并非完全无损，低秩更新也不是任何任务都够用，所以省下资源之后仍要做任务评价。现在第一课时走完了：我们看到了预训练怎样形成能力，后训练怎样让任务信号继续塑造行为，以及已有模型怎样以更少可训练参数适配。休息之后镜头会退回大模型预训练的设计阶段，讨论参数多大、材料读多少，以及更新全部参数需要什么资源。请特别记住这个切换：后面混合精度Adam的全参数账本，不是刚才LoRA必需的状态。接下来先休息。