52 lines
1.9 KiB
Markdown
52 lines
1.9 KiB
Markdown
---
|
||
title: "Head-Level Budget Allocation"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["kv-cache", "attention", "budget-allocation"]
|
||
sources: ["https://arxiv.org/abs/2602.08585"]
|
||
---
|
||
|
||
# Head-Level Budget Allocation
|
||
|
||
## 定义
|
||
|
||
Head-Level Budget Allocation（注意力头级别预算分配）是在 [[kv-cache-eviction]] 中将全局缓存预算 B_total 分配到每个注意力头 (l, h) 的策略。这是 LU-KV 框架的直接优化对象。
|
||
|
||
## 为什么需要
|
||
|
||
不同注意力头的"信息价值"高度异质：
|
||
|
||
- 某些头对长距离依赖敏感 — 应分配更多预算
|
||
- 某些头仅关注局部 token 模式 — 可大幅压缩
|
||
- [[] [[heuristic-metric]] 在不同头中的预测保真度不同
|
||
|
||
**关键洞察**：若某个 head 的启发式指标 π 与实际 [[oracle-importance]] 对齐度低，增加其预算的边际回报递减。
|
||
|
||
## 分配策略对比
|
||
|
||
| 策略 | 方法 | 是否差异化 | 是否全局优化 |
|
||
|------|------|----------|------------|
|
||
| Uniform | 所有 head 等预算 | 否 | 否 |
|
||
| [[pyramidkv]] | 深层 head 减少预算（信息漏斗假说） | 是 | 否（静态规则） |
|
||
| [[adkv]] | 全局 Top-K 基于注意熵 | 是 | 是（但基于原始分数） |
|
||
| LU-KV | [[global-combinatorial-optimization]] + [[marginal-utility]] | 是 | 是（基于长期效用曲线） |
|
||
|
||
## LU-KV 的独特贡献
|
||
|
||
LU-KV 将 Head-Level Budget Allocation 从两个层面重新定义：
|
||
|
||
1. **目标函数**：最小化全局 [[optimality-gap]] 而非简单最大化分数和
|
||
2. **优化方法**：[[convex-hull-relaxation]] → 边际效用贪心 → 近优解
|
||
3. **部署方式**：[[offline-profiling]] 预计算 → 在线查表
|
||
|
||
## 相关概念
|
||
|
||
- [[cross-head-budget-allocation]] — 同一问题的不同命名视角
|
||
- [[intra-head-eviction]] — 预算分配后，每个 head 内独立执行的 token 选择
|
||
- [[marginal-utility]] — 驱动分配决策的核心信号
|
||
|
||
## 参考
|
||
|
||
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)
|