返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

能改的地方有三个

本页问题

扩大维度不是唯一改进办法,写入与读取也可以分别调整。

AM06/b0 · 更大的表示空间

回到二维例:查询 A从同一个读出式,找出可以改变的对象key / query写入后的矩阵读取时的贡献d_k 维W x1 · v_A + 0.6 · v_B增加维度让不同线索更容易分开
更大的表示空间

先回到那两条关联。用A的线索查询时,读出是A加上0.6份B。现在沿这次读取,看看有哪些地方可以改变。

第一种办法刚才看到了:增加维度,让线索有更多区分空间。代价也很直观,相关矩阵和计算会变大。硬件能承受多少,我们放到后面专门讨论。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指“回到二维例:查询A”与A/B读出,再回指key维度,标出扩大表示空间及其成本。

AM06/b1 · 更认真地写

回到二维例:查询 A从同一个读出式,找出可以改变的对象key / query写入后的矩阵读取时的贡献d_k 维W x1 · v_A + 0.6 · v_B增加维度让不同线索更容易分开改善写入一起考虑所有关联,重新选择 W
更认真地写

第二种办法是重新看写入。刚才存A时没管B,存B时也没管A。如果把所有要保存的关联放在一起,选择一个能同时把它们读好的W,会不会更好?这仍然可以是线性层,不必马上换一种网络。

教师备课:指图与模拟问答

指图与推进 · 不朗读高亮写入得到的W,把所有关联一起纳入拟合目标。

AM06/b2 · 更有选择地读

回到二维例:查询 A从同一个读出式,找出可以改变的对象key / query写入后的矩阵读取时的贡献d_k 维W x1 · v_A + 0.6 · v_B增加维度让不同线索更容易分开改善写入一起考虑所有关联,重新选择 W改善读取弱匹配,能不能少贡献一些?
更有选择地读

第三种办法是改变读取时的分配:弱匹配要不要贡献这么多?能不能让它们更安静一些?我们先走“写得更好”这条路,再回来处理“读得更有选择”。

教师备课:指图与模拟问答

指图与推进 · 不朗读高亮相似度到内容贡献的规则,明确先去改善写入。

接下来

先不增加维度,也不增加矩阵大小,仍然看刚才那两条记忆。

补充推导、边界与来源

扩大维度不是唯一改进办法,写入与读取也可以分别调整。

来源与继续阅读

Alex Wang:对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

教学构造与机制示意;非模型实测

进入主题正文