“预测与压缩”的直觉,还留下什么问题?
本页问题
一次补全可能来自片段记忆,也可能利用可复用关系。怎样把“学到规律”的直觉变成可检查的问题?
OV06/b0 · 留下片段与复用规律,需要进一步辨别。
在“我昨天给了他一本书”中,具体词序可以作为片段保留,“谁/何时/给谁/什么”的关系也可成为待研究的可复用结构。预测利用重复信息;压缩视角提醒我们,复用规律可能减少对每个例子的单独描述。但片段记忆与规律学习并不互斥,也不能仅凭一次正确补全辨别内部用了哪一种。需要进一步追踪信息的表示与读取,并设计能区分解释的新观察。
进一步解释
角色结构是教师用于提出问题的语言分析,不是该模型内部状态的实测可视化。这里不主张“压缩=智能”的等式,也不把记忆贬为死记或把泛化说成与记忆无关。后面的随机检索装置只使一个读取问题可追踪,不代表完整大模型学习机制。
教师备课:指图与模拟问答
指图与推进 · 不朗读对照具体句子和角色结构,指“可能同时存在”;随后指表示/读取与证据两个待回答问题,不把角色标注说成模型已发现的机制。
本态来源与条件
句式与压缩关系为教学直觉及待检验解释,不是模型内部实测结论。
接下来
先选一个可以亲手追踪的装置:写入的关联增加,读回会怎样?
补充推导、边界与来源
再想一步
区分解释需要设计会产生不同预测的输入,例如保留关系而更换具体词语,或保留熟悉词语却改变关系。结果可以约束“仅记片段”的解释,但仍不能凭一个成功例子定位网络中的全部机制。
从本页继续阅读
- 文本预测可能要求哪些能力:从 A/B 记录的后续预测理解不同位置依赖的结构。
- 从读取装置进入记忆问题:固定查询和目标,观察关联增加时读回的改变。
本页证据与条件
句式与压缩关系为教学直觉及待检验解释,不是模型内部实测结论。