---
title: "PyramidKV"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["kv-cache", "cross-head-budget-allocation", "static-allocation"]
sources: []
---

# PyramidKV

## 定义

PyramidKV (Cai et al., 2024) 是一种静态的 [[cross-head-budget-allocation]] 方法，基于"信息漏斗"（Information Funneling）假说，采用固定的金字塔形预算分布：浅层保留更多 token，深层逐渐减少。

## 核心假设

> 注意力信息从浅层向深层逐渐"漏斗式"汇聚——深层需要的 KV 信息量更少。

基于此，PyramidKV 使用固定的逐层预算模式，无需在线计算。

## 分配方式

```
b_layer_1 > b_layer_2 > ... > b_layer_L  （逐层递减的金字塔形）
```

这是一个**静态规则**，不依赖 token 内容或注意力模式。

## 局限性

LU-KV 论文指出 PyramidKV 的三个局限：

1. **忽略 head 间差异**：同一层内的不同 head 可能有不同的信息需求
2. **先验未必成立**：信息漏斗假说在某些任务/模型中不成立
3. **不考虑指标质量**：不区分 [[heuristic-metric]] 在不同 head 中的可靠性

## 在 LU-KV 实验中的角色

作为 [[cross-head-budget-allocation]] baseline 之一，PyramidKV 在 LongBench 和 RULER 上的表现系统性地弱于 LU-KV，验证了全局组合优化的价值。

## 相关概念

- [[cross-head-budget-allocation]] — PyramidKV 所在的更大类别
- [[adkv]] — 动态分配的替代方案
- [[head-level-budget-allocation]] — LU-KV 的优化方案
- [[tang-lukv|LU-KV]] — 优于 PyramidKV 的全局优化方法

## 参考

- PyramidKV (Cai et al., 2024)
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)