返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

换一份材料,检验留下的是行为还是旧答案

N40/b0 · 新材料反转快慢

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。
新材料反转快慢

现在换成一份新的记录:A七秒,B十一秒,仍然没有测量内存。如果模型只是记住上一条参考回答里的“B更快”,这里就会答错。我们希望它保留的是处理请求的方式:重新读取材料,比较对应数值,把结论限制在证据支持的范围。

教师备课:指图与模拟问答

指图与推进 · 不朗读指旧 12/8 与新 7/11,核对请求形式及未测内存保持;不要把旧答案当模型实测。

N40/b1 · 重新给出参考判断

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。

旧答案:B耗时更短…
不符合新证据;非模型实测错误

教师参考:A在本次测试中耗时更短,内存尚未比较。

重新给出参考判断

新的教师参考因此是A在本次测试中耗时更短,内存尚未比较。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,比较划掉的旧结论与新教师参考;依据新数字重新判断。

N40/b2 · 独立样例四格评价

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。
待评价条件无示例同一正确格式示例
预训练参数 θ需用独立样例实际评价需用独立样例实际评价
SFT后参数 θ′需用独立样例实际评价需用独立样例实际评价

评价指标:事实对应、未测边界、任务与格式符合。

独立样例四格评价

这是一种检验思路,不是我们已经测出的训练效果。真正评价时,可以把预训练参数和SFT后的参数放在两行,把不给例子和给相同格式示例放在两列,用独立的新材料比较。这样才有机会区分,变化来自参数训练,还是来自本次提示。评价也不能只看有没有出现字母A,还要看它是否遵循任务、是否把没有测内存说清楚。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,逐行逐列解释四种条件,再指评价指标;四格都没有实测优劣。

N40/b3 · 把更新带到资源预算

保持请求形式,只改变实验事实请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
上一份材料A 12秒,B 8秒;未测内存。
新的独立材料在相同设置下,A用时7秒,B用时11秒。未测量内存。
预训练
广泛可用规律
→SFT
继续塑造回应方式
→本次计算
当前材料 / 示例

这些训练,需要多少参数、材料与计算?

把更新带到资源预算

SFT之后仍然可以做上下文学习,两者并不互相排斥;还可以用偏好数据等方法继续调整行为,或采用LoRA这类参数更新方式,完整过程保留在本页说明。到这里,我们已经把“模型怎么学”和“这次怎么用”接起来了。接下来不再只画参数更新箭头:当参数、材料和序列都很大时,这些箭头需要付出多少计算与存储?怎样在有限预算下真正训练、再服务许多请求?

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,沿预训练→SFT→本次计算收束,接到下一页参数、数据和计算预算。

补充推导、边界与来源

把事实反转成A7秒/B11秒,仍保留未测内存,检查是否重新依据材料回应。教师参考A更快,不是已运行后的测量。可以将预训练参数/SFT参数与无示例/同格式示例构成2×2独立评价,检查事实对应、证据范围、任务及格式;四种组合均需独立评价,目前没有实测优劣结论。

SFT之后仍可做ICL,示范目标与偏好目标不同。继续阅读:奖励模型、RLHF/PPO、DPO、可验证反馈、LoRA、QLoRA。后训练正文和适配正文保留完整机制。LoRA冻结原权重、训练低秩增量;QLoRA中的低位保存、反量化与计算精度是不同对象。

来源与材料身份

  • 原始入口:§3.1示范、偏好比较与策略训练的职责;本页四格评价为新教学设计
  • 原始入口:LoRA:冻结预训练权重、训练低秩增量;只作说明入口
本页证据与条件

教学构造与教师参考;不是模型运行结果

进入主题正文