2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Heuristic Metric (KV Cache) | 2026-06-18 | 2026-06-18 | concept |
|
|
Heuristic Metric
定义
Heuristic Metric（启发式指标）是 LU-KV 论文中的术语，指在 KV Cache 驱逐中用于评估 token 重要性的所有可在线计算的近似指标（如注意力分数、Key 向量几何特征等）。与 oracle-importance 不同，启发式指标可以在推理中实时计算，但无法完美预测 token 的long-horizon-utility。
代表性启发式指标
| 指标 π | 计算方式 | 核心假设 |
|---|---|---|
| SnapKV (π_1) | 累积注意力分数 + 观察窗口 | 高注意力 token 持续重要 |
| KeyDiff (π_2) | Key 向量差分模式 | 几何异常 token 更重要 |
| CAKE | 空间分散度 + 任务先验 | 分层级联规则 |
| KVZip | 上下文重构误差 | 重构关键 token 最重要 |
根本局限
所有启发式指标共享一个结构性问题：
π(token) ≠ π*(token) （启发式分数 ≠ Oracle 重要性）
且偏差程度在不同 attention head 中不同：
- 某些 head：π 与 π* 高度一致 → 驱逐高效
- 某些 head：π 与 π* 严重失配 → 大量 False Positives 和 Misses → optimality-gap
LU-KV 的应对
LU-KV 不试图改进启发式指标本身，而是：
- 接受 π 的不完美性
- 通过 offline-profiling 标定每个 head 中 π 的可靠性
- 将更多预算分配给 π 可靠性高的 head（高marginal-utility）
- 减少 π 可靠性低的 head 的预算（低边际效用）
这是**指标无关（Metric-Agnostic）**设计：任意 π 都可以作为 LU-KV 的输入。
相关概念
- oracle-importance — 启发式指标的理想参考标准
- optimality-gap — π 与 π* 的差距导致的额外损失
- intra-head-eviction — 启发式指标的主要应用场景
参考
- tang-lukv (Tang et al., ICML 2026)