模型要用上更多知识，先要能承载、能读取

我们已经习惯向大语言模型问很多不同的问题。它能解释术语，也能谈规则，还能利用刚给它的材料。现在先退一步：这些信息到底在哪里？模型为什么有可能把这么多不同的东西保存下来，并在需要时调用出来？如果这个问题不清楚，“给它更多数据”就只是一句话。

想让模型用上更多知识，至少有两个条件。一个是我们确实给它提供了材料，并通过训练把这些材料变成可用的能力；另一个是它的结构本身要承受得住，不能东西一多就混在一起，到了使用时读不出来。今天先从第二个条件问起：Transformer靠什么承载和读取信息？

先解释能不能承载，是为了知道后面的训练在做什么。讲完机制，我们再去看视觉任务中的实际证据，然后看扩大之后碰到的硬件约束。这样，结构、实验和工程才接得起来。