翻译时，这一句、这个前缀和过去训练各提供什么？

第五讲里，我们在I gave后面暂停，问下一词怎样从源句和当前目标状态中产生。今天换成这句奖杯与手提箱，接口仍然熟悉：源句给定，目标已经写到“因为”，接下来需要决定怎样表达原因。输出仍然可以逐token生成，困难并不来自“逐个写”这件事，而在于这一位置需要哪些信息，以及模型是否会用。

这里至少有三种来源。源句告诉我们这一次发生了什么，还明确给了big或small。目标前缀告诉模型，译文已经写到哪里，哪些内容已经表达。过去训练改变的参数，则可能提供语言对应、指代模式和物体放入容器的关系。当前句子并没有从零教会模型全部常识，训练经验也不能替当前句子随意补事实。

现在源句中的 big 换成 small，下面的教师参考就变成“手提箱太小”。目标仍写到“因为”，训练参数也仍承担原来的计算角色；这一次的条件变了，后续表达便应重新依据条件选择。

所以，不能说传统 seq2seq 因为逐词生成就没有常识，也不能说把模型叫成大语言模型就自动获得可靠常识。双语数据同样可以教会关系，覆盖和训练条件仍有边界。大规模预训练的吸引力，是先让模型接触更广的材料，再观察这些规律能否迁移。下一页先看这些材料具体有什么不同，再找真正的任务比较。