注意力机制可视化

实验目的

理解注意力权重的含义，了解注意力机制如何利用上下文信息。

实验原理

注意力机制让模型处理某个词元时，给句中各词元分配不同权重，权重越大，表示该词元对当前结果的影响越大。权重由查询向量 Q 与键向量 K 的相似度经 softmax 归一化得到，再对值向量 V 加权求和：Attention(Q,K,V) = softmax(QK^T/√d_k)V。

实验器材

• 一句示例文本
• 分词后的词元序列
• 注意力权重可视图（如热力图或连线）
• 词元选择操作
• 层或注意力头的切换选项（如页面提供）

实验步骤

1. 选择或输入一句话，查看分词后的词元。
2. 选中某个词元，观察它对其他词元的注意力权重。
3. 比较颜色深浅或连线粗细，找出权重较大的词元。
4. 若页面提供，切换不同的层或注意力头再观察。
5. 换一句话，看权重分布有什么变化。

实验现象与结论

同一个词元对句中不同词元的权重不同，权重大的位置颜色更深或连线更粗。不同的层或注意力头，关注的位置可能各不相同。结论：注意力机制让模型在每个位置根据上下文动态分配关注，这是模型理解词语间关系的重要手段。

常见问题

注意力权重高，就说明模型“理解”了这个词吗？

不能这样直接认定。权重只是观察模型内部计算的一条线索，不等同于理解。

公式里为什么要除以 √d_k？

维度较大时点积容易很大，除以 √d_k 可避免 softmax 结果过于极端，使训练更稳定。