先比较回答，再学习怎样评分

还是同一份实验材料，这次并列两条回答。甲说：B在本次测试中耗时更短，内存占用尚未比较。乙说：B在速度和内存方面都优于A。我直接把比较做完：这里选择甲，因为它的每个结论都有材料支持，而且明确说出证据还没有覆盖什么。乙的时间比较有依据，但内存优势是额外加出来的。我们不能因为它更简短、更自信，就把它当成更好的回答。这个例子里，选择理由能落回材料；其他任务可能还要比较帮助程度、清楚程度或风格。

现在把这次选择记成数据：同一个输入，甲获选，乙未获选。这就是一个偏好对。它没有说世界上只能用甲这句话回答；“本次B耗时八秒，少于A的十二秒，内存未知”也可能很好。比较数据提供的是相对信号，往往比给所有开放任务写出唯一标准句子更方便。但它也有局限：人可能偏好更长或更顺耳的文字，样本可能只覆盖某一类问题。如果比较标准不清楚，后面学到的就可能是表面偏好。一条偏好只约束这一对回答。它没有给所有可能答案排完顺序，也没有告诉模型未比较过的情形应该怎样评分；奖励模型正是在这些有限比较之外作泛化。

研究者可以用许多偏好对训练另一个模型，输入问题和回答，输出一个分数。训练让获选回答的分数倾向高于未获选回答，这个模型就叫奖励模型。注意此刻被训练的是评价者，负责生成回答的模型还没有因为这次评分而自动改变。奖励模型也只是近似人的评价，不是万能裁判。接下来要把这个已经学好的评分工具接到生成循环里，说明分数怎样影响生成模型自己的参数。这中间如果只画一根“评分到更新”的箭头，最关键的工作其实被藏起来了。