本页学习说明
自然语言推断判断一条假设与给定前提的关系：受到支持、与前提冲突，或信息不足。A/B例子只用于解释这三类关系。真实证据来自GPT-1 Table5的MNLI消融：完整方案81.8，无预训练方案75.7，相差6.1个百分点；两条路线均使用下游监督，完整方案含辅助语言模型目标并额外使用预训练资源。
| 材料层 |
比较内容 |
可以回答的问题 |
| A/B教学例 |
B更快／A更快／B内存更少 |
蕴含、矛盾、中立分别是什么意思 |
| GPT-1 Table5原实验 |
full 81.8；w/o pre-training 75.7 |
指定训练配置下预训练是否有迁移收益 |
6.1是准确率的百分点差，不是相对增长率。原表和A/B构造例承担不同职责，不能把整页都标为教学模拟。
深入解释与来源
先看任务：这条结论能从前提推出吗？
NLI判断前提与假设之间的关系：蕴含是被前提支持，矛盾是与前提冲突，中立是信息不足。本例A/B三句是教学构造，并非MNLI原题。未测内存不能推出B更省，也不能推出A更省或两者相等。MNLI是真实跨体裁的自然语言推断数据集，准确率是在许多句对上选对标签的比例。
来源与材料身份
- 原始入口：§4.2 Natural Language Inference，物理第5页；本例AB句对为构造例
预训练之后，能否把所得用于另一项任务？
GPT-1 Table5的MNLI列：Transformer w/ aux LM (full)为81.8，Transformer w/o pre-training为75.7，差6.1个百分点。两条路线都有下游监督学习；full还包含辅助语言模型目标，w/o aux LM一行为81.1。本例比较预训练消融，不是纯提示zero-shot，也不是相同总训练预算，不与Table2的MNLI-m/mm 82.1/81.4混用。
完整迁移比较。
来源与材料身份
- 原始入口：Table5，PDF物理第8页；§3.2–3.3说明下游监督微调与输入转换
阅读完整讲义