46 lines
2.0 KiB
Markdown
46 lines
2.0 KiB
Markdown
---
|
||
title: "KV Cache"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["llm-inference", "attention", "memory"]
|
||
sources: []
|
||
---
|
||
|
||
# KV Cache
|
||
|
||
## 定义
|
||
|
||
KV Cache（Key-Value Cache）是 Transformer 解码器在自回归生成过程中缓存的历史 Key 和 Value 向量，用于避免在每个解码步骤重新计算所有历史 token 的注意力。随着序列长度增长，KV Cache 的内存消耗线性增加，成为大模型长上下文推理的**核心瓶颈**。
|
||
|
||
## 核心机制
|
||
|
||
在因果注意力（causal attention）中，解码步骤 k 的 query q_k 只需与位置 j <= k 的 key、value 进行计算。将已计算的 (k_j, v_j) 存入缓存，后续步骤可直接读取，避免 O(n) 次重复计算。
|
||
|
||
### 内存分析
|
||
|
||
对于 L 层、H 个头、d_h 维度的模型，序列长度 T 的 KV Cache 内存为：
|
||
|
||
```
|
||
Memory = 2 * L * H * d_h * T * sizeof(dtype)
|
||
```
|
||
|
||
对于 Llama-3.1-8B（L=32, H=32, d_h=128, FP16），128K tokens 的 KV Cache 约 64 GB。
|
||
|
||
## Thinker-Performer KV-Cache 交换
|
||
|
||
[[wan-streamer|Wan-Streamer]] 的 [[thinker-performer-pipeline|Thinker-Performer 推理架构]] 将 KV-cache 作为 Thinker 和 Performer 之间的状态交换协议：Thinker 每步计算当前 KV-cache slice 并发送给 Performer，Performer 追加到自己的全历史缓存中运行 flow-matching 求解。这种设计使得感知更新和潜变量生成可以在不同 GPU 上流水线重叠，同时维持统一的因果交互状态。
|
||
|
||
## 相关概念
|
||
|
||
- [[kv-cache-eviction]] — 通过驱逐低重要性 token 压缩 KV Cache
|
||
- [[head-level-budget-allocation]] — 在 attention head 之间分配缓存预算
|
||
- [[long-horizon-utility]] — 评估 token 的长期效用而非瞬时重要性
|
||
- [[thinker-performer-pipeline]] — Thinker-Performer 推理流水线中的 KV-cache 交换
|
||
|
||
## 参考
|
||
|
||
- 原始注意力机制论文：Vaswani et al., 2017
|
||
- StreamingLLM (Xiao et al., 2024) — 发现 attention sink 现象
|
||
- [[tang-lukv|LU-KV]] — 基于全局组合优化的 KV Cache 驱逐
|