返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

同样继续写 token,可以是在续文档,也可以是在回答

N37/b0 · 完整请求

当前请求请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
在相同设置下,A用时12秒,B用时8秒。未测量内存。

继续一篇文档

下一节将介绍实验装置与测量流程。

教学构造的接续

回应用户任务

B在本次测试中耗时更短,内存尚未比较。

教学构造的期望回应
数值对应限于本次保留未测一句话
完整请求

上一页用一个示例说明希望怎样组织回答。现在先拿掉示例,只留下请求本身。请看这两部分:前面规定任务,后面给完成任务的材料。A 十二秒,B 八秒,没有测内存。我们这一次检查的,是后续文字有没有完成这个请求。

教师备课:指图与模拟问答

指图与推进 · 不朗读只指完整请求中的任务与材料;沿 A12/B8/未测内存逐项确认。

N37/b1 · 两种后续组织

当前请求请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
在相同设置下,A用时12秒,B用时8秒。未测量内存。

继续一篇文档

下一节将介绍实验装置与测量流程。

教学构造的接续

回应用户任务

B在本次测试中耗时更短,内存尚未比较。

教学构造的期望回应
数值对应限于本次保留未测一句话
两种后续组织

左边接“下一节将介绍实验装置与测量流程”,右边接“B在本次测试中耗时更短,内存尚未比较”。左边像在继续一篇报告,右边在回应这个用户任务。两边都能由逐 token 预测生成;右边没有凭空多出一套“回答器”,改变的是它在这种输入后采用的行为。画面中两句都标明教学构造,不是某个基础模型失败与 SFT 模型成功的实测比较。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,分别指两种构造接续原文及教学构造标记;解释行为区别。

N37/b2 · 核对回应要求

当前请求请只根据下面材料,用一句话概括结果,并保留尚不能判断的部分。
在相同设置下,A用时12秒,B用时8秒。未测量内存。

继续一篇文档

下一节将介绍实验装置与测量流程。

教学构造的接续

回应用户任务

B在本次测试中耗时更短,内存尚未比较。

教学构造的期望回应
数值对应限于本次保留未测一句话
核对回应要求

八小于十二,所以是 B 更快;“本次测试”限制了结论范围;“内存尚未比较”没有替未测项补答案;整段满足一句话。我们希望它在不同材料上也稳定作出这些选择,而不是只记住 B 更快。训练材料必须把答案和它回应的任务、条件放在一起。现在把原请求和期望回应一起放到下一页,看看一条完整训练样本。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,将右侧回应依次对齐四个核对点;最后把原请求和期望回应带到下一页。

补充推导、边界与来源

基础语言建模与任务回应共享预测后续token的接口。两种后续都是人为构造,不能把文档接续当作某基础模型的真实失败,也不说明基础模型绝不可能完成请求。任务化示范反复展示输入材料、请求和期望回应,SFT只是后训练的一部分;FLAN的任务指令化、InstructGPT的示范和偏好训练各有不同证据,不能把RLHF最终收益归因于单独SFT。

来源与材料身份

  • 原始入口:§3.1 Step1:收集期望行为示范并监督训练;本页两种续写为教学构造
本页证据与条件

教学构造与教师参考;不是模型运行结果

进入主题正文