Article

位置编码

从位置编码的需求出发，推导正弦位置编码的构造方式及其对相对位置关系的捕获原理。

2026年10月14日 Eric Yuan

位置编码的核心作用主要是为了将位置信息编码进序列之中，从而建模token 与 token 之间的位置关系。

为了建模相应的位置关系，一个自然的想法就是给每一个 token 构造一个位置向量 $PE(p)\in\mathbb R^{d_{\text{model}}}$ ，即将

z_p=x_p+PE(p)

送入 Transformer 中。

1 sinusoidal PE 正弦编码

我们希望位置表示至少具有几个性质：

在引入 sinusoidal PE 前，我们可以先考虑一些简单的例子，例如

PE(p)=[p,p,\ldots,p]

这个位置编码显然不符合稳定的数值范围的要求，而且不容易表达相应的尺度结构。

再比如 One-hot 编码，以 $p = 3$ 的情形为例

PE(3)=[0,0,1,0,\ldots]

然而，此种编码难以反映出相对的位置关系，对于 $x \neq y$ ，

PE(x)\cdot PE(y)=0

换言之，one-hot 编码缺乏天然的距离结构。

一个简单的想法是从数值稳定的正弦函数开始，例如

PE(p)=\sin(\omega p)

然而， $\sin(\omega p)$ 是周期函数，也就是说一个正弦函数无法表示唯一位置。那么很自然的想法就是考虑采用多个频率不同的正弦波来表示一个位置，我们可以构造

PE(p)= [ \sin(\omega_0p), \cos(\omega_0p), \sin(\omega_1p), \cos(\omega_1p), \ldots ]

其中， $\omega_i = 10000^{-2i/d_{\text{model}}}$ .

对于 sinusoidal PE 最重要的关键点在于不同的频率有利于分别建模不同的距离关系——对于短波有利于捕获局部的位置关系，对于长波有利于捕获长距离的位置关系。

sinusoidal PE 的频率按照几何级数排列，相邻波长满足

\frac{\lambda_{i+1}}{\lambda_i} = 10000^{2/d_{\text{model}}}

为常数，此种安排使得位置编码能够覆盖不同数量级的编码，具有相对更加高效的尺度。

我们考虑位置 $p\rightarrow p+k$ 的情形

\begin{bmatrix} \sin(\omega(p+k))\\ \cos(\omega(p+k)) \end{bmatrix} = \begin{bmatrix} \cos(\omega k)&\sin(\omega k)\\ -\sin(\omega k)&\cos(\omega k) \end{bmatrix} \begin{bmatrix} \sin(\omega p)\\ \cos(\omega p) \end{bmatrix}

并记为

PE_i(p+k) = R_i(k)PE_i(p)

一方面，我们可以发现正弦波与余弦波对于相对位置关系的建模是必要的（从另一个角度理解，只有当一个位置的正弦和余弦同时确定时我们才可以在单位圆上确定该位置的唯一位置）；另一方面，对于固定的 $k$ 始终对应同样的旋转结构 $R_i(k)$ ，为相对位置提供了非常规整的数学结构。

更进一步的，我们取两个位置

PE_i(p) = [ \sin(\omega_ip), \cos(\omega_ip) ]， PE_i(q) = [ \sin(\omega_iq), \cos(\omega_iq) ].

两者点积

\begin{align} PE_i(p)\cdot PE_i(q) &= \sin(\omega_ip)\sin(\omega_iq) + \cos(\omega_ip)\cos(\omega_iq) \\ &= \cos(\omega_i(p-q)) \end{align}

结果只与 $p$ , $q$ 的相对距离关系有关。