本页学习说明
主文 Attention 与 attn-reads 原交互数据。附图 attn-mutual 的题注写 Qwen3-32B，代码注释写 Qwen3.6-35B-A3B，存在内部标签冲突，因此不把那组惯用语案例当作本页的模型确定证据。
与本页相关的深入阅读
A27｜多个注意力头共同工作是否就是本文批评的现象
Useful information 可以分布在多个头中，这与“无关计算因不干扰而任意打包”不是同一命题。作者承认 attention 理解仍不足，不能断言该领域已排除了后一种可能。一个层内的局部路线常由两三个头承担主要工作，但路线横跨多层；研究单头、动态局部群组或全局分解，仍应按问题和证据选择。本文倾向局部路线，并没有完成对所有头的命名和解释。
原文 Relation to Attention Superposition · GF27
阅读完整讲义