完整深入材料 · 保留原页与全部停点。回到相关主讲
参数先不动:给一个完整任务示例
N33/b0 · 零示例完整输入
Zero-shot · 零示例
Translate English to French.
English: cheese
French:教师参考:fromage
One-shot · 一个示例
Translate English to French.
English: sea otter
French: loutre de mer
English: cheese
French:教师参考:fromage
教学提示与教师参考;非模型实测。
现在暂时把优化器拿开,只给模型一次输入。左边写明任务:把英文翻成法文,然后给出cheese,等待French后面的续写。
教师备课:指图与模拟问答
指图与推进 · 不朗读只读左侧完整提示,停在 French:;说明输出空位尚未填入。
N33/b1 · 加入一个完整示例
Zero-shot · 零示例
Translate English to French.
English: cheese
French:教师参考:fromage
One-shot · 一个示例
Translate English to French.
English: sea otter
French: loutre de mer
English: cheese
French:教师参考:fromage
教学提示与教师参考;非模型实测。
右边保持相同任务和相同问题,只在前面增加一个完整示例:sea otter对应loutre de mer。这个示例同时展示了任务方向、字段顺序以及回答应该落在哪里。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,先找右侧新增的成对示例,再核对两侧 cheese 问题相同。
N33/b2 · 教师参考与测量边界
Zero-shot · 零示例
Translate English to French.
English: cheese
French:教师参考:fromage
One-shot · 一个示例
Translate English to French.
English: sea otter
French: loutre de mer
English: cheese
French:教师参考:fromage
教学提示与教师参考;非模型实测。
cheese的教师参考译词是fromage。这里不要误读成左边的模型答错、右边答对:我们没有在这张幻灯片上做现场推理,也没有保存这两次实测结果。先展示两种完整输入,是为了让你精确指出它们差在哪里。零示例与一个示例,是任务信息进入上下文的两种条件,不是两种新架构。
右边增加的例子也没有提供cheese的答案。模型仍然要有可用的语言知识和处理这个格式的能力,才能把示例作用到新的词上。如果参数根本没有相关能力,一个样例不会凭空补齐整个法语系统。那么,不改参数为何还能改变输出?我们刚才开场学过读取接口,现在正好把它拿回来:固定的矩阵面对不同的输入,算出的当前状态会不会相同?
教师备课:指图与模拟问答
指图与推进 · 不朗读推进,指两侧均标教师参考的 fromage;据此区分输入形式示意与实测比较。
补充推导、边界与来源
zero-shot与one-shot描述本次输入中给多少任务示例,不是新架构。两种完整提示保持相同cheese问题,one-shot多出sea otter/loutre de mer成对例子。fromage只作教师参考,没有真实模型运行或左错右对比较。本页按GPT-3的示例形式重新排版,不是WMT正式评测提示的逐字复刻。
来源与材料身份
- 原始入口:§2及Fig2.1,PDF物理第6–7页;本页输入按其zero/one-shot形式重写,教师参考不作GPT-3输出证据
本页证据与条件
教学构造与教师参考;不是模型运行结果