换事实,检验行为而非旧答案
本页问题
新的独立教学记录把耗时改为A 7秒、B 11秒,未测内存与请求形式保持不变。正确参考因此变为A在本次测试中更快,内存仍不能比较。参数是否经过SFT与当前输入是否含示例是两个可以独立控制的条件;四格评价设计用于区分两者作用,尚不代表任何实测胜负。
RC-A6/b0 · 只改变事实
新记录改为A七秒、B十一秒,其他要求不变。我们要保留依据材料比较的行为,不是旧答案“B更快”。
进一步解释
7/11为与原12/8对照的独立教学材料,未声称真实模型已经在该样例上出现错误或成功。
教师备课:指图与模拟问答
指图与推进 · 不朗读对照旧12/8与新7/11;不把旧回答当作实测错误。
本态来源与条件
7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。
RC-A6/b1 · 教师参考随证据改变
旧答案:B耗时更短…
不符合新证据;非模型实测错误
教师参考:A在本次测试中耗时更短,内存尚未比较。
教师参考因此改为“A在本次测试中耗时更短;内存尚未比较”。新事实来自当前输入,不必每次先训练进参数;模型能否做到,仍须检验。
进一步解释
教师参考只说明新材料下正确回应应是什么,不代表模型已经实测答对。要检验稳定性,需要多个独立材料,而非只换一次数字。
教师备课:指图与模拟问答
指图与推进 · 不朗读指新参考与新数值,再核对未测边界。
本态来源与条件
7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。
RC-A6/b2 · 拆开参数与输入的作用
| 待评价条件 | 无示例 | 同一正确格式示例 |
|---|---|---|
| 预训练参数 θ | 需用独立样例实际评价 | 需用独立样例实际评价 |
| SFT后参数 θ′ | 需用独立样例实际评价 | 需用独立样例实际评价 |
评价指标:事实对应、未测边界、任务与格式符合。
表的两行比较预训练与SFT参数,两列比较无例与有例输入:SFT和ICL可以组合。用独立材料核对事实、范围、任务和形式;空表尚无实测胜负。接下来考虑训练资源怎样分配。
进一步解释
当前四格是评价设计,未实际执行。SFT训练样本与评价样本须分开,改变数字只是必要检查之一;更完整的评价还需覆盖对象、未测项、任务形式及分布变化。
教师备课:指图与模拟问答
指图与推进 · 不朗读按两行两列读四种条件,指每格待评价与底部指标。
本态来源与条件
7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。
接下来
把参数和训练消费放进有限资源预算。
补充推导、边界与来源
| 当前记录 | 耗时判断 | 内存判断 |
|---|---|---|
| A 12秒/B 8秒 | B在本次测试更快 | 未测,不能比较 |
| A 7秒/B 11秒 | A在本次测试更快 | 未测,不能比较 |
| 参数条件 | 当前无示例 | 当前有示例 |
|---|---|---|
| 预训练参数θ | 待独立评价 | 待独立评价 |
| SFT后参数θ′ | 待独立评价 | 待独立评价 |
四格设计让参数变化与输入变化分别接受检验;没有填写模型胜负。
深入解释与来源
换一份材料,检验留下的是行为还是旧答案
把事实反转成A7秒/B11秒,仍保留未测内存,检查是否重新依据材料回应。教师参考A更快,不是已运行后的测量。可以将预训练参数/SFT参数与无示例/同格式示例构成2×2独立评价,检查事实对应、证据范围、任务及格式;四种组合均需独立评价,目前没有实测优劣结论。
SFT之后仍可做ICL,示范目标与偏好目标不同。继续阅读:奖励模型、RLHF/PPO、DPO、可验证反馈、LoRA、QLoRA。后训练正文和适配正文保留完整机制。LoRA冻结原权重、训练低秩增量;QLoRA中的低位保存、反量化与计算精度是不同对象。
来源与材料身份
本页证据与条件
7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。