有承载机制，还要把知识学进去

到这里，我们已经能解释几个具体问题：为什么记忆会互相干扰，为什么更好的写入有用，为什么非线性和选择性读取可能扩大可用的范围，以及本次上下文为什么能提供新的可读内容。这让我们看到Transformer具备哪些承载和读取信息的机制。

但真实模型里的key、value和输入表示，不是我们像小例子这样手工安排的。它们要通过数据和训练逐步形成。训练既决定模型实际吸收了什么，也决定什么线索能够调出有用的内容。所以能表示、能学到、能在任务上用好，需要分别回答。

我们还不能只凭这一组随机记忆实验，就说扩大训练必然提高所有能力。现在应该换一种证据：保持任务和评测条件清楚，实际增加模型规模或训练材料，观察性能怎样变化。这就把我们带到下一节的视觉实验。