​ 自注意力机制中，我们关注句子本身，查看每个单词对于周边单词的重要性。这样可以很好地理清句子中的逻辑关系，如代词指示。

举个例子，在'The animal didn't cross the street because it was too tired'这句话中，'it' 指代句中的'The animal'，所以自注意力会赋予'The'、'animal'更高的注意力分值。

从翻译来看，“我”和“I”的注意力分数是比较高的，关联性更强，“我”的重要性比较高。而自注意力本身也是挖掘词和词之间的关系强弱，翻译是翻译前后两个句子关联对比，自注意力是一个句子词和词的关系强弱，每个单词都跟周边单词都做一个注意力分数计算。图中例子计算结果it和The animal权重比较高

自注意力分数的计算还是遵循着上述的公式，只不过这里的query, key和value都变成了句子本身点乘各自权重。

给定序列 $X \in \mathbb{R}^{n imes d_{model}}$, 序列长度为 $n$, 维度为 $d_{model}$。在计算自注意力时，

其中，序列中位置为 $i$ 的词与位置为 $j$ 的词之间的自注意力分数为：

假设X句子是由3个单词组成，第一个单词与第二个单词的关联关系强的话，q1和k2的注意力权重比较高，q2和k3的注意力圈主就比较低。最后得到的是一个3×3的表格，如下所示：

​