# 稀疏注意力模式 (Sparse Attention Patterns)

**稀疏注意力**限制每个 Token 只关注序列的子集，将复杂度从 O(n²) 降至 O(n·k) 或 O(n·log n)。

## 主要类型

1. **局部窗口**: 每个 Token 只看固定窗口内的邻居 → O(n·w)
2. **全局+局部**: 少数全局 Token + 局部窗口（Longformer, BigBird）
3. **跨步注意力**: 固定步长的稀疏模式（Sparse Transformer）
4. **可学习稀疏**: 动态学习注意力模式（[[seer-attention|SeerAttention]], [[native-sparse-attention|NSA]]）

## 优势与局限

**优势**: 内存和计算线性缩放，支持极长序列。  
**局限**: 稀疏模式可能遗漏关键的长距离依赖；硬件利用率低（不规则访问模式）。

## 相关概念

- [[linear-attention-methods]] — 另一种线性化路径
- [[seer-attention]] — 可学习稀疏
- [[native-sparse-attention]] — NSA (DeepSeek)
- [[llm-attention-survey-2026]] — 综述参考