返回课堂

换事实,检验行为而非旧答案

本页问题

新的独立教学记录把耗时改为A 7秒、B 11秒,未测内存与请求形式保持不变。正确参考因此变为A在本次测试中更快,内存仍不能比较。参数是否经过SFT与当前输入是否含示例是两个可以独立控制的条件;四格评价设计用于区分两者作用,尚不代表任何实测胜负。

RC-A6/b0 · 只改变事实

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。
只改变事实

新记录改为A七秒、B十一秒,其他要求不变。我们要保留依据材料比较的行为,不是旧答案“B更快”。

进一步解释

7/11为与原12/8对照的独立教学材料,未声称真实模型已经在该样例上出现错误或成功。

教师备课:指图与模拟问答

指图与推进 · 不朗读对照旧12/8与新7/11;不把旧回答当作实测错误。

本态来源与条件

7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。

RC-A6/b1 · 教师参考随证据改变

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。

旧答案:B耗时更短…
不符合新证据;非模型实测错误

教师参考:A在本次测试中耗时更短,内存尚未比较。

教师参考随证据改变

教师参考因此改为“A在本次测试中耗时更短;内存尚未比较”。新事实来自当前输入,不必每次先训练进参数;模型能否做到,仍须检验。

进一步解释

教师参考只说明新材料下正确回应应是什么,不代表模型已经实测答对。要检验稳定性,需要多个独立材料,而非只换一次数字。

教师备课:指图与模拟问答

指图与推进 · 不朗读指新参考与新数值,再核对未测边界。

本态来源与条件

7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。

RC-A6/b2 · 拆开参数与输入的作用

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。
待评价条件无示例同一正确格式示例
预训练参数 θ需用独立样例实际评价需用独立样例实际评价
SFT后参数 θ′需用独立样例实际评价需用独立样例实际评价

评价指标:事实对应、未测边界、任务与格式符合。

拆开参数与输入的作用

表的两行比较预训练与SFT参数,两列比较无例与有例输入:SFT和ICL可以组合。用独立材料核对事实、范围、任务和形式;空表尚无实测胜负。接下来考虑训练资源怎样分配。

进一步解释

当前四格是评价设计,未实际执行。SFT训练样本与评价样本须分开,改变数字只是必要检查之一;更完整的评价还需覆盖对象、未测项、任务形式及分布变化。

教师备课:指图与模拟问答

指图与推进 · 不朗读按两行两列读四种条件,指每格待评价与底部指标。

本态来源与条件

7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。

接下来

把参数和训练消费放进有限资源预算。

补充推导、边界与来源
当前记录 耗时判断 内存判断
A 12秒/B 8秒 B在本次测试更快 未测,不能比较
A 7秒/B 11秒 A在本次测试更快 未测,不能比较
参数条件 当前无示例 当前有示例
预训练参数θ 待独立评价 待独立评价
SFT后参数θ′ 待独立评价 待独立评价

四格设计让参数变化与输入变化分别接受检验;没有填写模型胜负。

深入解释与来源

换一份材料,检验留下的是行为还是旧答案

把事实反转成A7秒/B11秒,仍保留未测内存,检查是否重新依据材料回应。教师参考A更快,不是已运行后的测量。可以将预训练参数/SFT参数与无示例/同格式示例构成2×2独立评价,检查事实对应、证据范围、任务及格式;四种组合均需独立评价,目前没有实测优劣结论。

SFT之后仍可做ICL,示范目标与偏好目标不同。继续阅读:奖励模型、RLHF/PPO、DPO、可验证反馈、LoRA、QLoRA。后训练正文和适配正文保留完整机制。LoRA冻结原权重、训练低秩增量;QLoRA中的低位保存、反量化与计算精度是不同对象。

来源与材料身份

  • 原始入口:§3.1示范、偏好比较与策略训练的职责;本例四格评价为新教学设计
  • 原始入口:LoRA:冻结预训练权重、训练低秩增量;只作说明入口
本页证据与条件

7/11记录、教师参考与2×2评价均为教学设计;未填入未运行的模型结果。

进入主题正文