干扰来自其他也有相似度的内容
I03/b0 · 只改变第二个 key
| key | value | 与 q 点积 |
|---|---|---|
| (1, 0) | 10 | 1 |
| (0.6, 0.8) | 20 | 0.6 |
22
玩具值用于观察干扰；不是大模型容量实验，更不是实际 LLM 知识存储的完整理论。
其他条件都不动，只把第二条 key 转一点，改成零点六、零点八。它仍然是单位长度，但与 query 的点积现在是零点六。所以第二个 value 二十也被读进来，贡献十二。原来结果是十，现在变成二十二。我们在这个例子里人为指定第一条是要读取的目标，因此可以清楚看见：不是目标内容消失了，而是额外内容混进了结果。这时不能只说模型把两条东西都记住了，所以应该更有用。读取过程是否能把它们分开，是另一项要求。我们保留同样的 query 和 value，只改 key 的方向，正是为了把变化归因到这一处。
教师备课：指图与模拟问答
指图与推进 · 不朗读教师指向当前高亮对象，随后推进。
I03/b1 · 看见容量与干扰的区别
| key | value | 与 q 点积 |
|---|---|---|
| (1, 0) | 10 | 1 |
| (0.6, 0.8) | 20 | 0.6 |
22
玩具值用于观察干扰；不是大模型容量实验，更不是实际 LLM 知识存储的完整理论。
如果再增加更多 key，每条都可能产生一点交叉贡献。具体结果取决于向量如何分布、维度多大、读取函数怎样设计，不能只靠记忆条数下结论。这个视角能提醒我们：一个模型允许放入很长上下文，不代表它一定能可靠找到每一处事实。更多材料提供机会，也带来干扰和处理代价。博客里随机向量的容量实验有自己的假设，我们不能把那个数直接当真实模型的可靠窗口长度。接下来让读取更有选择性，看看权重怎样改变。
教师备课：指图与模拟问答
指图与推进 · 不朗读教师指向当前高亮对象，随后推进。
补充推导、边界与来源
保持 q=(1,0)、目标 k₁=(1,0) 与 value₁=10，把第二个 key 改为 (0.6,0.8)，value₂ 仍为 20。两个 key 都是单位向量，但第二个现在与 q 有 0.6 的点积，线性读取变成 10×1+20×0.6=22。额外的 12 来自非目标内容。这里将第一项人为指定为目标，用于展示交叉项，不是实际语言模型的正确率实验。
随机向量模型下的容量分析依赖维度、生成分布、读取函数和评价标准。它不能直接推导实际大模型可以可靠使用多少 token。真实上下文还涉及位置、任务关联、多层计算和训练分布。增加材料能提供所需事实，也可能增加干扰及成本，必须在目标任务上检验。
本页证据与条件
B02；A04