本页学习说明
把事实反转成A7秒/B11秒，仍保留未测内存，检查是否重新依据材料回应。教师参考A更快，不是已运行后的测量。可以将预训练参数/SFT参数与无示例/同格式示例构成2×2独立评价，检查事实对应、证据范围、任务及格式；四种组合均需独立评价，目前没有实测优劣结论。
SFT之后仍可做ICL，示范目标与偏好目标不同。继续阅读：奖励模型、RLHF/PPO、DPO、可验证反馈、LoRA、QLoRA。后训练正文和适配正文保留完整机制。LoRA冻结原权重、训练低秩增量；QLoRA中的低位保存、反量化与计算精度是不同对象。
来源与材料身份
- 原始入口：§3.1示范、偏好比较与策略训练的职责；本页四格评价为新教学设计
- 原始入口：LoRA：冻结预训练权重、训练低秩增量；只作说明入口
阅读完整讲义