---
title: "窗口注意力 (Window Attention)"
created: 2026-05-14
updated: 2026-05-14
type: concept
tags: [attention, llm, streaming, kv-cache]
sources: ["https://arxiv.org/abs/2309.17453", "https://arxiv.org/abs/2004.05150"]
---

# 窗口注意力 (Window Attention)

## 定义

窗口注意力（Window Attention / Sliding Window Attention）是一种注意力机制的变体，模型**只缓存和关注最近的 $L$ 个 Token 的 KV 状态**，而非所有历史 Token。最早由 Beltagy et al. (2020) 在 Longformer 中提出，后被广泛应用于 LLM 的高效推理。

## 动机

- **O(T²) 计算不可行**：Dense Attention 对长序列的计算和内存开销过大
- **恒定内存**：窗口注意力将 KV 缓存大小固定为 $L$，无论序列多长
- **直观且自然**：最近的上下文通常最有信息量

## 致命缺陷：Attention Sink 崩溃

Xiao et al. (2024) 在 [[streaming-llm|StreamingLLM]] 论文中揭示了窗口注意力的关键失败模式：

**当序列长度超过缓存大小 $L$，初始 Token 的 KV 被逐出时，模型困惑度急剧飙升（从 ~5 跳至 5000+）。**

### 原因

初始 Token 在所有层和注意力头中扮演 [[attention-sinks|注意力汇]] 的角色——它们承载了大量本应分散的注意力分数。一旦被逐出，SoftMax 的分母结构被破坏，注意力分布发生剧烈偏移，模型崩溃。

### 实验数据

| Cache Config | Llama-2-13B PPL |
|-------------|-----------------|
| 0 + 1024 (Window) | 5158.07 |
| 4 + 1020 (StreamingLLM) | 5.40 |

窗口注意力在序列长度超出缓存后彻底失效。

## 与其他方法的对比

| 方法 | 复杂度 | 长文本性能 | 问题 |
|------|--------|-----------|------|
| Dense Attention | O(T²) | 超出预训练窗口后崩溃 | 内存无限增长 |
| **Window Attention** | O(TL) | 初始 Token 被逐出后崩溃 | Attention Sink 效应 |
| Sliding Window + Recompute | O(TL²) | 优秀 | 太慢（每个 token 重建 KV） |
| StreamingLLM | O(TL) | 优秀 | 需保留 4 个初始 Token |

## 相关概念

- [[attention-sinks|注意力汇]] — 解释窗口注意力失败的根本原因
- [[streaming-llm|StreamingLLM]] — 修复窗口注意力的方案
- [[length-extrapolation|长度外推]] — 更广泛的问题背景
- [[kv-cache-bottleneck|KV 缓存瓶颈]] — 相关效率问题