---
title: "AdaKV"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["kv-cache", "cross-head-budget-allocation", "dynamic-allocation"]
sources: []
---

# AdaKV

## 定义

AdaKV (Feng et al., 2026b) 是一种动态的 [[cross-head-budget-allocation]] 方法，通过全局 Top-K 选择在 attention head 之间分配缓存预算。它基于注意力熵等实时统计量动态调整分配。

## 核心机制

1. **全局池化**：将所有 head 的候选 token 及其代理分数集中
2. **全局 Top-K**：跨所有 head 选择分数最高的 K 个 token
3. **动态分配**：各 head 的实际预算由 Top-K 选择结果自然决定

## 与 LU-KV 的关系

LU-KV 论文对 AdaKV 进行了关键性分析：

- **借鉴**：AdaKV 的输出扰动界分析启发了 [[oracle-importance]] 的定义
- **超越**：AdaKV 基于**原始代理分数**做全局比较（假设分数跨 head 可比），LU-KV 基于**边际效用曲线**做跨 head 比较
- **形式化差异**：AdaKV 的贪心策略未考虑 [[optimality-gap]]，LU-KV 显式优化它

## 局限性

1. **分数不可比假设**：不同 head 的注意力分数尺度和分布不同，直接全局 Top-K 可能偏向分数尺度大的 head
2. **瞬时视角**：使用当前注意力熵，无法捕捉 [[long-horizon-utility]]
3. **无离线 profiling**：每次推理需在线计算，但开销仍可接受

## 相关概念

- [[cross-head-budget-allocation]] — AdaKV 所在的类别
- [[pyramidkv]] — 静态分配的替代方案
- [[global-combinatorial-optimization]] — LU-KV 采用的形式化更强的优化框架
- [[tang-lukv|LU-KV]] — 基于边际效用的改进方法

## 参考

- AdaKV (Feng et al., 2026b)
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)