完整深入材料 · 保留原页与全部停点。回到相关主讲
同样继续写 token,可以是在续文档,也可以是在回答
N37/b0 · 完整请求
在相同设置下,A用时12秒,B用时8秒。未测量内存。
继续一篇文档
下一节将介绍实验装置与测量流程。
教学构造的接续回应用户任务
B在本次测试中耗时更短,内存尚未比较。
教学构造的期望回应上一页用一个示例说明希望怎样组织回答。现在先拿掉示例,只留下请求本身。请看这两部分:前面规定任务,后面给完成任务的材料。A 十二秒,B 八秒,没有测内存。我们这一次检查的,是后续文字有没有完成这个请求。
教师备课:指图与模拟问答
指图与推进 · 不朗读只指完整请求中的任务与材料;沿 A12/B8/未测内存逐项确认。
N37/b1 · 两种后续组织
在相同设置下,A用时12秒,B用时8秒。未测量内存。
继续一篇文档
下一节将介绍实验装置与测量流程。
教学构造的接续回应用户任务
B在本次测试中耗时更短,内存尚未比较。
教学构造的期望回应左边接“下一节将介绍实验装置与测量流程”,右边接“B在本次测试中耗时更短,内存尚未比较”。左边像在继续一篇报告,右边在回应这个用户任务。两边都能由逐 token 预测生成;右边没有凭空多出一套“回答器”,改变的是它在这种输入后采用的行为。画面中两句都标明教学构造,不是某个基础模型失败与 SFT 模型成功的实测比较。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,分别指两种构造接续原文及教学构造标记;解释行为区别。
N37/b2 · 核对回应要求
在相同设置下,A用时12秒,B用时8秒。未测量内存。
继续一篇文档
下一节将介绍实验装置与测量流程。
教学构造的接续回应用户任务
B在本次测试中耗时更短,内存尚未比较。
教学构造的期望回应八小于十二,所以是 B 更快;“本次测试”限制了结论范围;“内存尚未比较”没有替未测项补答案;整段满足一句话。我们希望它在不同材料上也稳定作出这些选择,而不是只记住 B 更快。训练材料必须把答案和它回应的任务、条件放在一起。现在把原请求和期望回应一起放到下一页,看看一条完整训练样本。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,将右侧回应依次对齐四个核对点;最后把原请求和期望回应带到下一页。
补充推导、边界与来源
基础语言建模与任务回应共享预测后续token的接口。两种后续都是人为构造,不能把文档接续当作某基础模型的真实失败,也不说明基础模型绝不可能完成请求。任务化示范反复展示输入材料、请求和期望回应,SFT只是后训练的一部分;FLAN的任务指令化、InstructGPT的示范和偏好训练各有不同证据,不能把RLHF最终收益归因于单独SFT。
来源与材料身份
- 原始入口:§3.1 Step1:收集期望行为示范并监督训练;本页两种续写为教学构造
本页证据与条件
教学构造与教师参考;不是模型运行结果