本页学习说明
关联记忆把线索key与内容value成对保存。查询是拿来查找的线索,目标是希望读回的内容;两者不必相同。本例将64维value排成8×8灰度方格,固定目标和查询,只把同一存储数组的前缀从1条扩展到16、64、256条。读回中的目标贡献仍在,其他条目的贡献却逐渐混入。可用性因此要由读取结果判断,而不能仅数已经写入多少条。
这里的目标不是证明模型记住了图像,而是为“记住”选一个可检查的读回标准。同一查询、相同数组前缀和固定灰度,使变化能追溯到新增关联。
与本页直接相关的完整材料
条件、推导与来源
AM01 · 模型要用上更多知识,先要能承载、能读取
要理解大模型为什么可能用上更多知识,先分清结构的承载能力与训练形成的实际能力。
“先能记住,再讲怎样训练”是解释次序。实际训练时,数据、目标和参数更新一起发生,不存在先把空网络训练完、再把知识放进去的机械流程。
来源与继续阅读
Alex Wang:对应原文小节。两个必要视角是本课程的开场组织,不是原文逐字开场。
M01 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
AM02 · 写进去了,还要在需要时读得回来
先用同一查询下的读回质量,给“记住”一个可检查的含义。
本节实验关注向量读回的保真程度。分类只要求正确候选胜出、生成只要求相关token更有可能时,可以采用不同指标;相应容量不能直接比较。
来源与继续阅读
Alex Wang:对应原文小节。
I03 原阅读材料 · M02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义