记忆容量:存入与读回,要放在一起判断
本页问题
回看同一查询在 M=1 与 M=256 时的结果:目标仍被写入,为什么读回不同?
CL01/b0 · 写入、读取、维度与误差标准共同决定可用容量。
开场使用固定查询 k₀ 与目标 v₀:M=1 时,读回与目标一致;在 M=256 的同源对照中,其他关联贡献明显混入,而目标关联本身仍在存储中。这说明“存入”与“可单独读回”需要一起判断。写入方式、读取方式、维度和允许误差共同决定某个检索任务下的可用容量。模型参数长期承载训练形成的信息,当前上下文则提供本次读取的对象,两者不能混为一类存储。
进一步解释
两档来自 AR01 的同一随机向量教学实验,同一数组前缀、同一查询、同一目标和固定显示尺度;图样显示64维 value,不是图像分类成绩。该实验说明特定装置的读取行为,不测量真实语言模型的知识条数。
“参数与当前上下文”是信息来源和计算职责的区分,不意味着所有模型知识都能定位到独立参数条目。
教师备课:指图与模拟问答
指图与推进 · 不朗读对照同一个目标与 M=1/M=256 读回,指出改变的是存入关联数;再指写入、读取、维度、误差标准。短暂停顿,允许教师用一句话回问“为什么存过仍可能读混”。
本态来源与条件
AR01 同源随机向量实验的 M=1/M=256 对照;不是大模型知识量测量。
接下来
能解释读回,还要说明对训练后内部能力的解释有什么证据。
补充推导、边界与来源
再想一步
遇到容量结论时,可以追问四个条件是否明确:如何写入、如何读取、表示维度多大、允许多大误差。改变其中一项,就需要重新比较;因此容量应连同任务和测量口径报告。
从本页继续阅读
- 原始读回对照与完整条件:恢复固定查询、四档关联数和未裁剪指标。
- 改写入与改读取的区别:对比联合求解写入和非线性读取分别改变哪个对象。
- 参数与当前上下文的分工:把长期参数与当次 K/V 分开,回看实际读取。
本页证据与条件
AR01 同源随机向量实验的 M=1/M=256 对照;不是大模型知识量测量。