---
title: "Heuristic Metric (KV Cache)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["kv-cache", "evaluation-metric", "attention"]
sources: ["https://arxiv.org/abs/2602.08585"]
---

# Heuristic Metric

## 定义

Heuristic Metric（启发式指标）是 LU-KV 论文中的术语，指在 KV Cache 驱逐中用于评估 token 重要性的所有**可在线计算的近似指标**（如注意力分数、Key 向量几何特征等）。与 [[oracle-importance]] 不同，启发式指标可以在推理中实时计算，但无法完美预测 token 的[[long-horizon-utility]]。

## 代表性启发式指标

| 指标 π | 计算方式 | 核心假设 |
|---------|---------|---------|
| SnapKV (π_1) | 累积注意力分数 + 观察窗口 | 高注意力 token 持续重要 |
| KeyDiff (π_2) | Key 向量差分模式 | 几何异常 token 更重要 |
| CAKE | 空间分散度 + 任务先验 | 分层级联规则 |
| KVZip | 上下文重构误差 | 重构关键 token 最重要 |

## 根本局限

所有启发式指标共享一个**结构性问题**：

```
π(token) ≠ π*(token)  （启发式分数 ≠ Oracle 重要性）
```

且偏差程度在不同 attention head 中不同：

- 某些 head：π 与 π* 高度一致 → 驱逐高效
- 某些 head：π 与 π* 严重失配 → 大量 False Positives 和 Misses → [[optimality-gap]]

## LU-KV 的应对

LU-KV 不试图改进启发式指标本身，而是：

1. 接受 π 的不完美性
2. 通过 [[offline-profiling]] 标定每个 head 中 π 的可靠性
3. 将更多预算分配给 π 可靠性高的 head（高[[marginal-utility]]）
4. 减少 π 可靠性低的 head 的预算（低边际效用）

这是**指标无关（Metric-Agnostic）**设计：任意 π 都可以作为 LU-KV 的输入。

## 相关概念

- [[oracle-importance]] — 启发式指标的理想参考标准
- [[optimality-gap]] — π 与 π* 的差距导致的额外损失
- [[intra-head-eviction]] — 启发式指标的主要应用场景

## 参考

- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)