同一套 Transformer，怎样承载更多经验？
M01/b0 · 回到熟悉的层
上一讲，我们看过一段输入怎样经过 Transformer，最后变成输出。这里仍然是那一层：attention 根据当前位置读取其他允许的位置，MLP 对得到的表示继续计算。残差和归一化暂时收起来，我们没有换模型，只是换一个问题：如果让它读非常多的材料，这套结构凭什么把经验保留下来，又怎样在需要的时候取到相关信息？
教师备课：指图与模拟问答
指图与推进 · 不朗读先沿同一条输入到输出路径指读，保留 attention 与 MLP 的位置。
M01/b1 · 换一个提问
可以把它想成装东西与找东西的区别，但这个类比到这里就够了。装进来的东西越来越多，如果每次查询都把许多无关内容带回来，存得多并不等于用得好。我们马上离开抽象比喻，把记忆缩小到三条，每一条的匹配线索和要读的内容都摆在眼前，看看一次查询究竟取回了什么。
教师备课：指图与模拟问答
指图与推进 · 不朗读显出“承载”与“读取”的问题，然后进入三张卡。
补充推导、边界与来源
上一讲沿输入、attention、MLP 和输出理解 Transformer。本讲保留同一结构，改变提问方式：如果训练材料扩展到很大规模，结构怎样形成可复用的计算，又怎样在需要时选择相关信息？
“记忆”在这里是分析视角，不表示模型是一张逐条保存原文的数据库。训练形成的参数可以跨请求复用；当前输入形成的激活和 K/V 则随请求改变。我们先用三张可追踪的 key→value 卡演示选择性读取，再用实际扩展实验判断投入是否带来收益。示意 block 省略归一化、残差和多头等细节，不是重新定义完整 Transformer。
本页证据与条件
教学构造；用于辨认计算过程，不是模型运行结果