Var Addition Theory

方差的可加性

对于 相互独立 的随机变量 $X_{1}, X_{2}, ..., X_{n}$ ，它们之和的方差等于各自方差之和。

Var (i = 1 \sum n X_{i}) = i = 1 \sum n Var (X_{i})

证明：设这些随机变量的期望分别为 $μ_{i} = E [X_{i}]$ 。根据定义，和的方差为：

Var (i = 1 \sum n X_{i}) = E (i = 1 \sum n (X_{i} - μ_{i}))^{2} = E [i = 1 \sum n j = 1 \sum n (X_{i} - μ_{i}) (X_{j} - μ_{j})] = i = 1 \sum n j = 1 \sum n E [(X_{i} - μ_{i}) (X_{j} - μ_{j})]

其中 $E [(X_{i} - μ_{i}) (X_{j} - μ_{j})]$ 就是协方差 $Cov (X_{i}, X_{j})$ 。当 $i \neq = j$ 时，由于变量相互独立，协方差为 0。当 $i = j$ 时，协方差就是方差 $Var (X_{i})$ 。因此：

Var (i = 1 \sum n X_{i}) = i = 1 \sum n Var (X_{i})

证毕。

重要前提：此性质成立的关键条件是随机变量 相互独立。如果变量之间存在相关性，则和的方差公式需包含协方差项： $Var (\sum X_{i}) = \sum Var (X_{i}) + 2 \sum_{i < j} Cov (X_{i}, X_{j})$ 。

在 Transformer 的 Self-Attention 机制中，注意力得分通过查询向量 $q$ 和键向量 $k$ 的点积计算，二者维度均为 $d_{k}$ 。

通常我们假设 $q$ 和 $k$ 的每个分量是独立的随机变量，且方差均为 1。即：

那么，点积 $q \cdot k = \sum_{i = 1}^{d_{k}} q_{i} k_{i}$ 中，每一项 $q_{i} k_{i}$ 的方差是多少？

由于 $q_{i}$ 与 $k_{i}$ 独立且均值为0，有：

Var (q_{i} k_{i}) = E [(q_{i} k_{i})^{2}] - (E [q_{i} k_{i}])^{2} = E [q_{i}^{2}] E [k_{i}^{2}] - 0 = Var (q_{i}) \cdot Var (k_{i}) = 1 \times 1 = 1

这里利用了 $E [q_{i}^{2}] = Var (q_{i})$ （因为均值为0）。

现在，我们将 $d_{k}$ 个方差为 1 的独立随机变量 $q_{i} k_{i}$ 相加。根据方差可加性定理：

Var (q \cdot k) = Var (i = 1 \sum d_{k} q_{i} k_{i}) = i = 1 \sum d_{k} Var (q_{i} k_{i}) = i = 1 \sum d_{k} 1 = d_{k}

结论： $d_{k}$ 个方差为 1 的独立随机变量之和，其方差确实为 $d_{k}$ 。

在 Self-Attention 的原始论文 Attention Is All You Need 中，注意力得分的计算公式为：

Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V

缩放的原因：

如上所证，点积 $Q K^{T}$ 的结果方差随 $d_{k}$ 线性增长 ( $Var = d_{k}$ )。
Softmax 函数对输入的幅度非常敏感。如果输入值的方差过大（即数值的尺度很大），softmax 的梯度会变得非常小（进入饱和区），导致训练困难，即所谓的“梯度消失”问题。
为了稳定训练，需要将点积结果的方差控制在一个合理的尺度（如1附近）。
将点积结果除以 $d_{k}$ ，相当于将其标准差（方差的平方根）归一化： $Var (\frac{q \cdot k}{d _{k}}) = \frac{1}{d _{k}} \times Var (q \cdot k) = \frac{1}{d _{k}} \times d_{k} = 1$ 这样，缩放后的注意力得分具有单位方差，有利于 softmax 函数的稳定计算和梯度流动。