返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

参数先不动:给一个完整任务示例

N33/b0 · 零示例完整输入

同一组固定参数;只比较当前输入条件。

Zero-shot · 零示例

Translate English to French. English: cheese French:

教师参考:fromage

One-shot · 一个示例

Translate English to French.
English: sea otter
French: loutre de mer


English: cheese
French:

教师参考:fromage

教学提示与教师参考;非模型实测。

零示例完整输入

现在暂时把优化器拿开,只给模型一次输入。左边写明任务:把英文翻成法文,然后给出cheese,等待French后面的续写。

教师备课:指图与模拟问答

指图与推进 · 不朗读只读左侧完整提示,停在 French:;说明输出空位尚未填入。

N33/b1 · 加入一个完整示例

同一组固定参数;只比较当前输入条件。

Zero-shot · 零示例

Translate English to French. English: cheese French:

教师参考:fromage

One-shot · 一个示例

Translate English to French.
English: sea otter
French: loutre de mer


English: cheese
French:

教师参考:fromage

教学提示与教师参考;非模型实测。

加入一个完整示例

右边保持相同任务和相同问题,只在前面增加一个完整示例:sea otter对应loutre de mer。这个示例同时展示了任务方向、字段顺序以及回答应该落在哪里。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,先找右侧新增的成对示例,再核对两侧 cheese 问题相同。

N33/b2 · 教师参考与测量边界

同一组固定参数;只比较当前输入条件。

Zero-shot · 零示例

Translate English to French. English: cheese French:

教师参考:fromage

One-shot · 一个示例

Translate English to French.
English: sea otter
French: loutre de mer


English: cheese
French:

教师参考:fromage

教学提示与教师参考;非模型实测。

教师参考与测量边界

cheese的教师参考译词是fromage。这里不要误读成左边的模型答错、右边答对:我们没有在这张幻灯片上做现场推理,也没有保存这两次实测结果。先展示两种完整输入,是为了让你精确指出它们差在哪里。零示例与一个示例,是任务信息进入上下文的两种条件,不是两种新架构。

右边增加的例子也没有提供cheese的答案。模型仍然要有可用的语言知识和处理这个格式的能力,才能把示例作用到新的词上。如果参数根本没有相关能力,一个样例不会凭空补齐整个法语系统。那么,不改参数为何还能改变输出?我们刚才开场学过读取接口,现在正好把它拿回来:固定的矩阵面对不同的输入,算出的当前状态会不会相同?

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,指两侧均标教师参考的 fromage;据此区分输入形式示意与实测比较。

补充推导、边界与来源

zero-shot与one-shot描述本次输入中给多少任务示例,不是新架构。两种完整提示保持相同cheese问题,one-shot多出sea otter/loutre de mer成对例子。fromage只作教师参考,没有真实模型运行或左错右对比较。本页按GPT-3的示例形式重新排版,不是WMT正式评测提示的逐字复刻。

来源与材料身份

  • 原始入口:§2及Fig2.1,PDF物理第6–7页;本页输入按其zero/one-shot形式重写,教师参考不作GPT-3输出证据
本页证据与条件

教学构造与教师参考;不是模型运行结果

进入主题正文