48 lines
1.6 KiB
Markdown
48 lines
1.6 KiB
Markdown
---
|
||
title: "线性注意力 (Linear Attention)"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: [attention, efficiency, linear-complexity]
|
||
sources:
|
||
- dao-transformers-are-ssms-2024
|
||
---
|
||
|
||
# 线性注意力 (Linear Attention)
|
||
|
||
线性注意力是 Katharopoulos et al. (2020) 提出的注意力变体——将 Softmax 注意力转化为**线性复杂度**的核化形式，揭示了 "Transformers are RNNs" 的对偶关系。
|
||
|
||
## 核心技巧
|
||
|
||
利用矩阵乘法的结合律：
|
||
```
|
||
Y = softmax(QK^T) · V [O(T²) — 标准 Attention]
|
||
↓ 去掉 softmax，引入核特征映射 φ
|
||
Y = (φ(Q) φ(K)^T) · V [核化 Attention]
|
||
Y = φ(Q) · (φ(K)^T · V) [结合律重排 → O(T)]
|
||
```
|
||
|
||
因果版本在右侧引入因果掩码 L（下三角 1 矩阵）后，可展开为**循环形式**。
|
||
|
||
## 在 SSD 框架中的扩展
|
||
|
||
Dao & Gu (2024) 将线性注意力推广为 [[structured-masked-attention|结构化掩码注意力（SMA）]]：
|
||
- 因果掩码 L 从**全 1** 推广为**数据依赖的衰减掩码** (a_t ∈ [0,1])
|
||
- SMA ⇔ SSM 的对偶关系：任何有快速循环形式的核注意力必然是 SSM
|
||
|
||
## 变体与进展
|
||
|
||
| 变体 | 关键创新 |
|
||
|------|---------|
|
||
| 原始 Linear Attention | φ = elu(x) + 1 |
|
||
| RetNet (Sun et al., 2023) | 更一般的 L 结构 |
|
||
| GateLoop (Katsch, 2023) | 门控线性注意力 |
|
||
| SMA (Dao & Gu, 2024) | 数据依赖的 L + 半可分矩阵连接 |
|
||
|
||
## 参考
|
||
|
||
- [[structured-masked-attention|SMA]]
|
||
- [[structured-state-space-duality|SSD]]
|
||
- [[state-space-models|状态空间模型]]
|
||
- [[dao-transformers-are-ssms-2024|论文]]
|