本页学习说明
新的独立教学记录把耗时改为A 7秒、B 11秒,未测内存与请求形式保持不变。正确参考因此变为A在本次测试中更快,内存仍不能比较。参数是否经过SFT与当前输入是否含示例是两个可以独立控制的条件;四格评价设计用于区分两者作用,尚不代表任何实测胜负。
| 当前记录 |
耗时判断 |
内存判断 |
| A 12秒/B 8秒 |
B在本次测试更快 |
未测,不能比较 |
| A 7秒/B 11秒 |
A在本次测试更快 |
未测,不能比较 |
| 参数条件 |
当前无示例 |
当前有示例 |
| 预训练参数θ |
待独立评价 |
待独立评价 |
| SFT后参数θ′ |
待独立评价 |
待独立评价 |
四格设计让参数变化与输入变化分别接受检验;没有填写模型胜负。
深入解释与来源
换一份材料,检验留下的是行为还是旧答案
把事实反转成A7秒/B11秒,仍保留未测内存,检查是否重新依据材料回应。教师参考A更快,不是已运行后的测量。可以将预训练参数/SFT参数与无示例/同格式示例构成2×2独立评价,检查事实对应、证据范围、任务及格式;四种组合均需独立评价,目前没有实测优劣结论。
SFT之后仍可做ICL,示范目标与偏好目标不同。继续阅读:奖励模型、RLHF/PPO、DPO、可验证反馈、LoRA、QLoRA。后训练正文和适配正文保留完整机制。LoRA冻结原权重、训练低秩增量;QLoRA中的低位保存、反量化与计算精度是不同对象。
来源与材料身份
- 原始入口:§3.1示范、偏好比较与策略训练的职责;本例四格评价为新教学设计
- 原始入口:LoRA:冻结预训练权重、训练低秩增量;只作说明入口
阅读完整讲义