53 lines
1.9 KiB
Markdown
53 lines
1.9 KiB
Markdown
---
|
||
title: "Cross-Head Budget Allocation"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["kv-cache", "budget-allocation", "attention"]
|
||
sources: ["https://arxiv.org/abs/2602.08585"]
|
||
---
|
||
|
||
# Cross-Head Budget Allocation
|
||
|
||
## 定义
|
||
|
||
Cross-Head Budget Allocation（跨头预算分配）是 [[kv-cache-eviction]] 两阶段范式的**第二阶段**：在模型的所有 attention head 之间分配差异化缓存预算。与 [[intra-head-eviction]]（在每个 head 内决定保留哪些 token）不同，它关注的是**各 head 应保留多少 token**。
|
||
|
||
## 核心挑战
|
||
|
||
不同 attention head 的信息密度高度不均匀：
|
||
|
||
- 某些 layer/head 组合对长距离依赖至关重要
|
||
- 浅层和深层 head 可能需要不同的压缩率
|
||
- 同一 [[heuristic-metric]] 在不同 head 中的可靠性不同
|
||
|
||
将预算均匀分配（Uniform）或基于简单先验（PyramidKV）是次优的。
|
||
|
||
## 方法演进
|
||
|
||
| 代别 | 方法 | 策略 |
|
||
|------|------|------|
|
||
| 第一代 | Uniform | 所有 head 等预算 |
|
||
| 第二代 | [[pyramidkv]] | 静态金字塔形（深层减少预算） |
|
||
| 第三代 | [[adkv]] | 动态全局 Top-K 基于注意熵 |
|
||
| 第四代 | LU-KV | [[global-combinatorial-optimization]] + [[marginal-utility]] |
|
||
|
||
## LU-KV 的独特视角
|
||
|
||
LU-KV 将 Cross-Head Budget Allocation 从"选择哪些 token"提升为"如何投资预算"：
|
||
|
||
- 不是比较不同 head 的 token 分数绝对值（不可比）
|
||
- 而是比较不同 head 的**边际效用曲线** g_{l,h}(i)（可比）
|
||
- 这解耦了指标选择（intra-head）和预算分配（cross-head）
|
||
|
||
## 相关概念
|
||
|
||
- [[head-level-budget-allocation]] — 同义概念，侧重优化视角
|
||
- [[intra-head-eviction]] — 两阶段范式的第一阶段
|
||
- [[marginal-utility]] — 跨头比较的"通用货币"
|
||
- [[offline-profiling]] — 预计算各 head 的最优预算配置
|
||
|
||
## 参考
|
||
|
||
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)
|