返回课堂

给几个例子,模型这一次改变了什么?

本页问题

保留同一份 A/B 事实,只在输入前加入 C/D 示例。观察这一步改了什么,又没有改什么。

OV05/b0 · 同一组参数,当前输入加入示例。

同一模型参数 θ · 不做梯度更新当前 A/B 请求当前输入再加入 C/D 示例要求:概括结果,保留未知。相同设置下A:12 秒  B:8 秒未测内存。回答:示例:C 10秒 / D 7秒;未测能耗D更快;能耗尚未比较。示范如何组织回应、保留未知A:12 秒  B:8 秒;未测内存。回答:任务事实不变;示例改变当前输入与本次计算课堂构造,用于区分输入与参数,不是模型实跑
同一组参数,当前输入加入示例。

当前 A/B 材料为“A 用时12秒,B 用时8秒,未测量内存”,任务要求概括结果并保留未知。另一份输入在同一任务前加入 C/D 示例:“C 用时10秒,D 用时7秒,未测能耗;D 在本次测试中耗时更短,能耗尚未比较。”两份输入共用模型参数,差别是上下文有没有示例。示例提供回应组织方式,不能替代 A/B 的事实;本页没有展示 A/B 的模型实测输出,也没有保证示例一定改善结果。

进一步解释

全部 A/B、C/D 数值为课程教学构造。C/D 的文本是示例答法,不是模型运行记录。常见 ICL 使用不执行参数梯度更新,但输入改变会使当前表示与输出分布变化;任务效果应另行评价。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指两边完全相同的 A/B 事实和任务,再指出新增 C/D 区域;指顶部固定参数,保留 A/B 回答为空,不提前完成正文判断。

本态来源与条件

A/B、C/D 为教学构造;无梯度 ICL 概念核对 GPT-3 原论文。

接下来

知道预测目标、规模与示例的用法,是否已经足以解释能力怎样形成?

补充推导、边界与来源

再想一步

若要评价示例的作用,应固定模型、任务材料和评分方式,只改变示例条件,并在多个输入上比较。这里先用输入对照明确变量,随后正文再将条件比较与实际输出分开讨论。

从本页继续阅读

本页证据与条件

A/B、C/D 为教学构造;无梯度 ICL 概念核对 GPT-3 原论文。

进入主题正文