返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

先看任务:这条结论能从前提推出吗?

N31/b0 · 前提与假设

前提 · 当前可依据的材料在相同设置下,A用时12秒,B用时8秒。未测量内存。
蕴含=前提支持矛盾=前提冲突中立=前提不足
假设关系理由
本次测试中B比A耗时更短。蕴含前提支持:8 < 12
本次测试中A比B耗时更短。矛盾与前提冲突
B的内存占用更少。中立前提不足以判断

自然语言推断 NLI;MNLI 是跨体裁的真实评测数据集。

A/B构造例;非MNLI原题。

前提与假设

我们先不看模型名字,先看它要完成什么。上面是前提,也就是当前允许依据的材料。下面提出一条假设:“本次测试中B比A耗时更短。”

教师备课:指图与模拟问答

指图与推进 · 不朗读先读前提与第一条假设;暂不解释尚未出现的关系标签。

N31/b1 · 前提支持的关系

前提 · 当前可依据的材料在相同设置下,A用时12秒,B用时8秒。未测量内存。
蕴含=前提支持矛盾=前提冲突中立=前提不足
假设关系理由
本次测试中B比A耗时更短。蕴含前提支持:8 < 12
本次测试中A比B耗时更短。矛盾与前提冲突
B的内存占用更少。中立前提不足以判断

自然语言推断 NLI;MNLI 是跨体裁的真实评测数据集。

A/B构造例;非MNLI原题。

前提支持的关系

十二秒与八秒支持这个判断,所以这里的标签叫蕴含。它不是问这句话听起来是否顺耳,而是问它与给定前提是什么关系。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,指三类标签含义,再以 8<12 解释第一行的蕴含。

N31/b2 · 冲突与信息不足

前提 · 当前可依据的材料在相同设置下,A用时12秒,B用时8秒。未测量内存。
蕴含=前提支持矛盾=前提冲突中立=前提不足
假设关系理由
本次测试中B比A耗时更短。蕴含前提支持:8 < 12
本次测试中A比B耗时更短。矛盾与前提冲突
B的内存占用更少。中立前提不足以判断

自然语言推断 NLI;MNLI 是跨体裁的真实评测数据集。

A/B构造例;非MNLI原题。

冲突与信息不足

现在只换下面的假设:“本次测试中A比B耗时更短。”这与前提的数字冲突,标签变成矛盾。再换成“B的内存占用更少”,前提既没有支持它,也没有明确说它相反;我们没有测内存,因此是中立。这里的中立不是“各占一半”,也不是“我没认真读”,而是材料确实没有给出足够的信息。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,依次读新增的第二、第三行;同一前提不变,只比较假设。

N31/b3 · 从示意进入真实任务

前提 · 当前可依据的材料在相同设置下,A用时12秒,B用时8秒。未测量内存。
蕴含=前提支持矛盾=前提冲突中立=前提不足
假设关系理由
本次测试中B比A耗时更短。蕴含前提支持:8 < 12
本次测试中A比B耗时更短。矛盾与前提冲突
B的内存占用更少。中立前提不足以判断

自然语言推断 NLI;MNLI 是跨体裁的真实评测数据集。

A/B构造例;非MNLI原题。

从示意进入真实任务

自然语言推断把这样的前提—假设关系组织成评价任务。真实MNLI覆盖多种体裁,语言现象也远比眼前这个小例子丰富;AB这组三题只是我们为看懂任务构造的示意,不是从数据集中抽出的题。现在至少知道分数在量什么:模型能否在许多句对上选对关系标签。带着这个认识,我们才有理由问,用普通文字做语言模型预训练,能不能帮助后续学习这种任务?

教师备课:指图与模拟问答

指图与推进 · 不朗读推进,指 NLI/MNLI 名称,明确构造例与真实数据集的关系,接下一页准确率。

补充推导、边界与来源

NLI判断前提与假设之间的关系:蕴含是被前提支持,矛盾是与前提冲突,中立是信息不足。本页A/B三句是教学构造,并非MNLI原题。未测内存不能推出B更省,也不能推出A更省或两者相等。MNLI是真实跨体裁的自然语言推断数据集,准确率是在许多句对上选对标签的比例。

来源与材料身份

  • 原始入口:§4.2 Natural Language Inference,物理第5页;本页AB句对为构造例
本页证据与条件

教学构造与教师参考;不是模型运行结果

进入主题正文