完整深入材料 · 保留原页与全部停点。回到相关主讲
能改的地方有三个
本页问题
扩大维度不是唯一改进办法,写入与读取也可以分别调整。
AM06/b0 · 更大的表示空间
先回到那两条关联。用A的线索查询时,读出是A加上0.6份B。现在沿这次读取,看看有哪些地方可以改变。
第一种办法刚才看到了:增加维度,让线索有更多区分空间。代价也很直观,相关矩阵和计算会变大。硬件能承受多少,我们放到后面专门讨论。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指“回到二维例:查询A”与A/B读出,再回指key维度,标出扩大表示空间及其成本。
AM06/b1 · 更认真地写
第二种办法是重新看写入。刚才存A时没管B,存B时也没管A。如果把所有要保存的关联放在一起,选择一个能同时把它们读好的W,会不会更好?这仍然可以是线性层,不必马上换一种网络。
教师备课:指图与模拟问答
指图与推进 · 不朗读高亮写入得到的W,把所有关联一起纳入拟合目标。
AM06/b2 · 更有选择地读
第三种办法是改变读取时的分配:弱匹配要不要贡献这么多?能不能让它们更安静一些?我们先走“写得更好”这条路,再回来处理“读得更有选择”。
教师备课:指图与模拟问答
指图与推进 · 不朗读高亮相似度到内容贡献的规则,明确先去改善写入。
接下来
先不增加维度,也不增加矩阵大小,仍然看刚才那两条记忆。
本页证据与条件
教学构造与机制示意;非模型实测