---
title: "KeyDiff"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["kv-cache", "attention", "intra-head-eviction"]
sources: []
---

# KeyDiff

## 定义

KeyDiff (Park et al., 2025) 是一种 [[heuristic-metric]]，利用 Key 向量的**几何特征**（相邻位置 Key 向量之间的差分模式）来评估 KV Cache token 的重要性。它是 LU-KV 实验中使用的第二种 intra-head 指标（π_2）。

## 核心机制

与传统方法依赖注意力权重不同，KeyDiff 通过分析 Key 向量本身的结构变化来识别关键 token：

1. 计算相邻位置 Key 向量之间的差异
2. Key 向量变化剧烈的 token 位置往往对应语义转折/关键信息点
3. 基于差分模式评分，保留高分 token

## 与 SnapKV 的对比

| 维度 | SnapKV (π_1) | KeyDiff (π_2) |
|------|-------------|--------------|
| 评分来源 | 注意力权重 | Key 向量几何 |
| 视角 | Query-Key 交互 | Key 内部分布 |
| 对注意力模式假设 | 依赖 | 不依赖 |
| 与 Oracle 对齐度 | 各 head 不同 | 各 head 不同 |

LU-KV 实验表明，两种指标在不同 head 中的 [[optimality-gap]] 模式不同——这正是 LU-KV "指标无关"设计的价值：无论选用哪种指标，都能找到最优预算配置。

## 相关概念

- [[heuristic-metric]] — KeyDiff 是启发式指标的一种
- [[snapkv]] — 常用的注意力权重指标
- [[intra-head-eviction]] — KeyDiff 属于头内驱逐方法
- [[tang-lukv|LU-KV]] — 可兼容 KeyDiff 作为 intra-head scoring 方法

## 参考

- KeyDiff (Park et al., 2025)
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)