示例的作用，要在完整翻译任务上看

现在看真正的任务结果。这里测的不是刚才两个单词，而是完整句子的英语到法语翻译。任务卡列明：GPT-3 论文 Table 3.4，同一个一千七百五十亿参数模型，WMT 二零一四英译法，指标是 BLEU。BLEU 是按译文和参考译文的匹配等规则得到的分数，不是句子答对的百分比。先认清这个测量对象，再读三种输入条件。

零示例是二十五点二，一个示例是二十八点三，少样例设置是三十二点六。论文这项少样例设置将示例数设为六十四，并受上下文长度限制；不能假定每条输入都完整装下六十四个长句，测试时仍不更新权重。

这组比较支持的是：对这个模型、这个翻译方向和这些评测条件，当前上下文中的任务示例确实改变了总体表现。它不是“全体翻译任务平均”，也不是把单词fromage猜对一次就得到的分数。我们把输入机制与任务结果分开看，才知道前面那张图解释了什么，这张表又补了什么证据。

这里还有一个实际代价：示例需要选择，放入上下文还会占用长度与计算；不同任务也不保证例子越多越好。所以，遇到自己的科研任务，应该把提示形式、样例数量和评价标准一起试，而不是背住一个通用示例数。现在回到我们的AB实验，不借助法语知识，看看一个示例究竟能把什么要求告诉模型。