训练的收益，能带到另一项任务吗？

我们先把评价任务讲清。MNLI要求模型读两段文字，判断它们的关系。比如前提是“一个人在厨房切菜”，假设是“有人正在准备食物”，这可以支持蕴含；如果假设改成“厨房里没有人”，就是矛盾；如果改成“这个人明天要出差”，前提没有告诉我们，关系未定。这三个句子是课堂的解释例子，不是论文测试样本。这样一种任务要求模型利用词义和句子关系。研究者可以先让模型大量预测文本，再用任务数据教它输出这三类判断。其中“关系未定”不是模型没有信心的随意选项，而是前提提供的内容确实不足以确定假设。这样的区分与我们的实验材料相通：未测量内存，不等于内存一定差，也不等于一定相同。

现在看GPT-1论文Table 5里的MNLI这一列。完整模型是八十一点八，去掉预训练是七十五点七，相差六点一个百分点。完整模型不仅接触了任务标签，还先经历了语言模型预训练。这个消融告诉我们，在这里，预训练带来的东西能帮助后面的任务适配。注意比较对象是两套训练设置，并不是把预训练模型拿来完全不训练，就自动得到这个成绩。任务适配仍然在做，输入形式也按任务组织。

我们还要补一个条件：预训练组用了额外的预训练计算。因此这不是总资源严格相同条件下的一场竞赛，也不是每个任务都能固定多六点一分的承诺。它足以支持一个具体判断：训练得到的表示和计算可以在新任务里被重新利用。至于这些表示长什么样，单看成绩还不知道。下一页换到一个视觉网络，因为那里有一个特别直观的案例：人看成猫和车的两类东西，可能在网络内部共享同一种局部结构。