预训练之后，能否把所得用于另一项任务？

这里是早期GPT论文的一项消融比较。先看路线：上面先用普通文本做语言模型预训练，再用带标签的数据学习MNLI；下面省掉预训练，从下游监督任务开始。最终都在自然语言推断任务上评价，不是让一个模型参加考试、另一个只背单词。

原论文Table5中，完整Transformer方案在MNLI这一列是八十一点八，没有预训练的方案是七十五点七，相差六点一个百分点。这支持一个具体判断：在这套实验中，语言模型预训练得到的参数，对后续的关系判断任务有价值。它让我们有理由把普通文本训练看成能力形成的一部分，而不只是训练一种文档续写器。

但条件也要一起读。完整方案带有论文所用的辅助语言模型目标，预训练还增加了数据与计算；这不是同样总预算下所有方案的终极排名，更不是说模型未见任务标签就拿到八十一点八。刚才的结果经过了下游监督微调。于是新的问题自然出现了：如果参数已经训练好，我们这一次不再运行优化器，只把任务说明或几个例子放到输入里，能不能让同一模型开始处理一个任务？这是下一段要观察的另一种改变。