返回课堂

记忆容量:存入与读回,要放在一起判断

本页问题

回看同一查询在 M=1 与 M=256 时的结果:目标仍被写入,为什么读回不同?

CL01/b0 · 写入、读取、维度与误差标准共同决定可用容量。

同一查询 k₀ · 同一目标 v₀ · 64维向量读回目标 v₀读回 · M = 1读回 · M = 256写入方式 × 读取方式 × 维度与误差标准共同决定:多少信息仍能按要求读回训练参数:长期形成的信息当前上下文:本次提供的信息随机向量容量不能直接兑换为真实模型的知识条数
写入、读取、维度与误差标准共同决定可用容量。

开场使用固定查询 k₀ 与目标 v₀:M=1 时,读回与目标一致;在 M=256 的同源对照中,其他关联贡献明显混入,而目标关联本身仍在存储中。这说明“存入”与“可单独读回”需要一起判断。写入方式、读取方式、维度和允许误差共同决定某个检索任务下的可用容量。模型参数长期承载训练形成的信息,当前上下文则提供本次读取的对象,两者不能混为一类存储。

进一步解释

两档来自 AR01 的同一随机向量教学实验,同一数组前缀、同一查询、同一目标和固定显示尺度;图样显示64维 value,不是图像分类成绩。该实验说明特定装置的读取行为,不测量真实语言模型的知识条数。

“参数与当前上下文”是信息来源和计算职责的区分,不意味着所有模型知识都能定位到独立参数条目。

教师备课:指图与模拟问答

指图与推进 · 不朗读对照同一个目标与 M=1/M=256 读回,指出改变的是存入关联数;再指写入、读取、维度、误差标准。短暂停顿,允许教师用一句话回问“为什么存过仍可能读混”。

本态来源与条件

AR01 同源随机向量实验的 M=1/M=256 对照;不是大模型知识量测量。

接下来

能解释读回,还要说明对训练后内部能力的解释有什么证据。

补充推导、边界与来源

再想一步

遇到容量结论时,可以追问四个条件是否明确:如何写入、如何读取、表示维度多大、允许多大误差。改变其中一项,就需要重新比较;因此容量应连同任务和测量口径报告。

从本页继续阅读

本页证据与条件

AR01 同源随机向量实验的 M=1/M=256 对照;不是大模型知识量测量。

进入主题正文