40 lines
1.0 KiB
Markdown
40 lines
1.0 KiB
Markdown
---
|
||
title: "Constant KV Cache"
|
||
created: 2026-06-24
|
||
updated: 2026-06-24
|
||
type: concept
|
||
tags: ["kv-cache", "efficient-inference", "attention-mechanism"]
|
||
sources:
|
||
- "[[unlimited-ocr-works-2026]]"
|
||
---
|
||
|
||
# Constant KV Cache
|
||
|
||
Constant KV Cache 是 R-SWA 注意力机制的核心性质：KV cache 大小在全部解码过程中保持有界常数 Lm + n，不随输出长度 T 增长。
|
||
|
||
## 定义
|
||
|
||
$$C_{R\text{-}SWA}(T) = L_m + \min(n, T) \leq L_m + n$$
|
||
|
||
其中 Lm 为前缀 token 数（固定），n 为滑动窗口宽度（默认 128）。
|
||
|
||
## 与标准 MHA 的对比
|
||
|
||
| 机制 | KV Cache 增长 | 无穷 T 时 |
|
||
|------|-------------|----------|
|
||
| MHA | O(T) 线性 | ∞ |
|
||
| R-SWA | O(1) 常数 | Lm + n |
|
||
|
||
Cache 压缩比：$\rho(T) = \frac{L_m + n}{L_m + T} \to 0$
|
||
|
||
## 工程意义
|
||
|
||
- GPU 显存恒定，不随输出长度增长
|
||
- 推理速度（TPS）恒定（Flash Attention v3 核函数延迟稳定）
|
||
- 使单次前向解析数十页成为可能
|
||
|
||
## 参考
|
||
- [[unlimited-ocr-works-2026]]
|
||
- [[reference-sliding-window-attention]]
|
||
- [[kv-cache]]
|