返回课堂

“预测与压缩”的直觉,还留下什么问题?

本页问题

一次补全可能来自片段记忆,也可能利用可复用关系。怎样把“学到规律”的直觉变成可检查的问题?

OV06/b0 · 留下片段与复用规律,需要进一步辨别。

我谁昨天何时给了动作他给谁一本书什么留下了训练片段?获得了可复用的结构?两者可能并存,需要观察来辨别这些信息怎样被表示和读取?什么证据能区分它学到了什么?
留下片段与复用规律,需要进一步辨别。

在“我昨天给了他一本书”中,具体词序可以作为片段保留,“谁/何时/给谁/什么”的关系也可成为待研究的可复用结构。预测利用重复信息;压缩视角提醒我们,复用规律可能减少对每个例子的单独描述。但片段记忆与规律学习并不互斥,也不能仅凭一次正确补全辨别内部用了哪一种。需要进一步追踪信息的表示与读取,并设计能区分解释的新观察。

进一步解释

角色结构是教师用于提出问题的语言分析,不是该模型内部状态的实测可视化。这里不主张“压缩=智能”的等式,也不把记忆贬为死记或把泛化说成与记忆无关。后面的随机检索装置只使一个读取问题可追踪,不代表完整大模型学习机制。

教师备课:指图与模拟问答

指图与推进 · 不朗读对照具体句子和角色结构,指“可能同时存在”;随后指表示/读取与证据两个待回答问题,不把角色标注说成模型已发现的机制。

本态来源与条件

句式与压缩关系为教学直觉及待检验解释,不是模型内部实测结论。

接下来

先选一个可以亲手追踪的装置:写入的关联增加,读回会怎样?

补充推导、边界与来源

再想一步

区分解释需要设计会产生不同预测的输入,例如保留关系而更换具体词语,或保留熟悉词语却改变关系。结果可以约束“仅记片段”的解释,但仍不能凭一个成功例子定位网络中的全部机制。

从本页继续阅读

本页证据与条件

句式与压缩关系为教学直觉及待检验解释,不是模型内部实测结论。

进入主题正文