myWiki/concepts/keydiff.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
KeyDiff	2026-06-18	2026-06-18	concept	kv-cache attention intra-head-eviction

KeyDiff

定义

KeyDiff (Park et al., 2025) 是一种 heuristic-metric，利用 Key 向量的几何特征（相邻位置 Key 向量之间的差分模式）来评估 KV Cache token 的重要性。它是 LU-KV 实验中使用的第二种 intra-head 指标（π_2）。

核心机制

与传统方法依赖注意力权重不同，KeyDiff 通过分析 Key 向量本身的结构变化来识别关键 token：

1. 计算相邻位置 Key 向量之间的差异
2. Key 向量变化剧烈的 token 位置往往对应语义转折/关键信息点
3. 基于差分模式评分，保留高分 token

与 SnapKV 的对比

维度	SnapKV (π_1)	KeyDiff (π_2)
评分来源	注意力权重	Key 向量几何
视角	Query-Key 交互	Key 内部分布
对注意力模式假设	依赖	不依赖
与 Oracle 对齐度	各 head 不同	各 head 不同

LU-KV 实验表明，两种指标在不同 head 中的 optimality-gap 模式不同——这正是 LU-KV "指标无关"设计的价值：无论选用哪种指标，都能找到最优预算配置。

相关概念

• heuristic-metric — KeyDiff 是启发式指标的一种
• snapkv — 常用的注意力权重指标
• intra-head-eviction — KeyDiff 属于头内驱逐方法
• tang-lukv — 可兼容 KeyDiff 作为 intra-head scoring 方法

参考

• KeyDiff (Park et al., 2025)
• tang-lukv (Tang et al., ICML 2026)