51 lines
1.8 KiB
Markdown
51 lines
1.8 KiB
Markdown
---
|
||
title: "Intra-Head Eviction"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["kv-cache", "attention"]
|
||
sources: ["https://arxiv.org/abs/2602.08585"]
|
||
---
|
||
|
||
# Intra-Head Eviction
|
||
|
||
## 定义
|
||
|
||
Intra-Head Eviction（头内驱逐）是 [[kv-cache-eviction]] 两阶段范式的**第一阶段**：在每个注意力头内部，使用评分指标 π 对缓存 token 排序，保留前 b_{l,h} 个高分 token，驱逐其余。
|
||
|
||
## 代表性指标
|
||
|
||
| 指标 | 方法 | 评分依据 |
|
||
|------|------|---------|
|
||
| 累积注意力 | [[snapkv]]、H2O | 历史注意力权重的累积和 |
|
||
| Key 向量几何 | [[keydiff]] | 相邻 Key 向量之间的差分模式 |
|
||
| 输出扰动 | CriticalKV | value 向量 × 输出投影矩阵的潜在扰动 |
|
||
| 重构误差 | KVZip | 上下文重构目标（query-agnostic） |
|
||
|
||
## 在 LU-KV 中的位置
|
||
|
||
LU-KV 的独特之处在于**解耦** intra-head scoring 和 cross-head allocation：
|
||
|
||
- Intra-head scoring 由用户**任意选择**的启发式指标 π 完成
|
||
- LU-KV 仅负责确定每个 head 应该保留多少 token（b_{l,h}）
|
||
- 这使得 LU-KV 成为"指标无关"（metric-agnostic）框架
|
||
|
||
LU-KV 不创造新的 intra-head 指标，而是**最大化任何已有指标的效用**。
|
||
|
||
## 核心限制
|
||
|
||
传统方法的主要问题在 intra-head 层面暴露：
|
||
- 同一指标 π 在不同 head 中与 [[oracle-importance]] 的**对齐度不同**
|
||
- 高注意力分数在某些 head 中对应真正重要的 token（Hits），在另一些 head 中仅为瞬时噪声（False Positives）
|
||
- 由此产生 [[optimality-gap]]
|
||
|
||
## 相关概念
|
||
|
||
- [[cross-head-budget-allocation]] — 两阶段范式的第二阶段
|
||
- [[heuristic-metric]] — 所有 intra-head 评分方法的统称
|
||
- [[head-level-budget-allocation]] — 决定每个 head 保留多少 token
|
||
|
||
## 参考
|
||
|
||
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)
|