# KV 缓存内存瓶颈

**自回归推理中的核心内存瓶颈**，KV 缓存的线性增长严重限制 LLM 推理效率。

## 问题定义

自回归推理中，每个新生成的 Token 需要与所有历史 Token 的 KV 进行注意力计算。KV 缓存的大小为：

$$\text{KV Cache Size} = 2 \times n \times d \times \text{layers} \times \text{precision}$$

其中 n 为已生成的 Token 数，d 为模型维度。当上下文长度达到 1M 时，KV 缓存可能达到数百 GB。

## 瓶颈表现

- **批处理受限**: KV 缓存占用大量 GPU 内存，限制并行推理的 batch size
- **长上下文成本**: 上下文每翻倍，KV 缓存也翻倍
- **吞吐量下降**: 内存压力导致推理吞吐量大幅下降

## 解决方案矩阵

| 策略 | 代表方法 | 缓存缩减 | 质量影响 |
|------|---------|---------|---------|
| 结构压缩 | MLA ([[multi-head-latent-attention]]) | 10-20x | 极小 |
| 头共享 | GQA ([[grouped-query-attention]]) | ~8x | 轻微 |
| 量化压缩 | KVQuant | 4-8x | 可控 |
| 选择性淘汰 | H2O/SnapKV ([[attention-sinks]]) | 2-5x | 中等 |
| 低秩投影 | Palu, ReCalKV | 3-5x | 轻微 |

## 相关概念

- [[multi-head-latent-attention]] — MLA: 结构压缩（最大杠杆）
- [[grouped-query-attention]] — GQA: 头共享方案
- [[kvcache-transfer]] — KVCache 跨节点传输
- [[attention-sinks]] — 缓存淘汰策略
- [[llm-attention-survey-2026]] — 综述参考