---
title: "Marginal Utility (KV Cache)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["kv-cache", "optimization", "economics-analogy"]
sources: ["https://arxiv.org/abs/2602.08585"]
---

# Marginal Utility in KV Cache Eviction

## 定义

Marginal Utility（边际效用）在 KV Cache 驱逐语境中指：**为一个 attention head 增加一单位预算（保留一个额外 token）所带来的长期语义信息保存增量**。这是 LU-KV 框架的核心分配准则，借鉴了经济学中"边际收益"的概念。

## 形式化

在 LU-KV 的 [[convex-hull-relaxation]] 下，head (l, h) 分配第 i 个 token 的有效边际增益为：

```
g_{l,h}(i) = L̆(M^π(i-1)) - L̆(M^π(i)) >= 0
```

其中 L̆ 是经过 PAVA 保序回归凸化后的损失函数。g_{l,h}(i) 单调不增——每多保留一个 token，额外收益递减（边际效用递减规律）。

## 分配策略

LU-KV 的贪心求解器基于边际效用比较：

1. 对所有 head 计算其边际增益序列 g_{l,h}(1), g_{l,h}(2), ...
2. 每次迭代：选择当前边际增益最大的 (head, token) 对
3. 分配该 token，更新边际增益
4. 重复直到全局预算 B_total 耗尽

贪心解的最优性由凸松弛保证：凸化后的损失函数使边际增益满足递减性质，贪心即全局最优。

## 经济学类比

| 经济学概念 | LU-KV 对应 |
|-----------|-----------|
| 投资预算 | 全局 KV Cache 预算 B_total |
| 投资项目 | 不同的 attention heads |
| 边际收益 | g_{l,h}(i) — 保留额外 token 的效用增益 |
| 最优分配 | 各 head 边际收益相等时达到均衡 |

## 相关概念

- [[global-combinatorial-optimization]] — 边际效用驱动的全局分配形式化
- [[convex-hull-relaxation]] — 确保边际效用单调递减的前提
- [[oracle-importance]] — 边际效用的 ground truth 来源
- [[optimality-gap]] — 低边际效用的 head 意味着更大的 optimality gap

## 参考

- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)