myWiki/concepts/convex-hull-relaxation.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Convex-Hull Relaxation (KV Cache)	2026-06-18	2026-06-18	concept	optimization kv-cache convex-relaxation	https://arxiv.org/abs/2602.08585

Convex-Hull Relaxation

定义

Convex-Hull Relaxation（凸包松弛）是 LU-KV 用于求解 global-combinatorial-optimization 的核心技巧。将对每个 attention head 的非凸离散损失序列进行凸化，使全局贪心算法能达到最优解。

为什么需要

原始的 oracle-importance 驱逐损失 L(M^π(0)), ..., L(M^π(T)) 作为整数预算的函数不满足凸性，导致：

• 无法直接应用贪心算法（贪心在非凸目标上无最优性保证）
• 动态规划可行但 cost 过高（profiling 规模不可接受）

方法：PAVA 保序回归

LU-KV 采用 Pool Adjacent Violators Algorithm (PAVA) 做保序回归：

1. 计算原始损失的边际递减量序列 d(i) = L(i-1) - L(i)（可能非单调）
2. 对 d(i) 做保序回归，投影到非负、非增序列 d̆(i) >= 0
3. 从投影后的边际递减量重构损失序列 L̆(i) = L̆(i-1) - d̆(i)

结果：L̆ 是凸的、非增的——即边际增益 g(i) = L̆(i-1) - L̆(i) >= 0 且单调递减。

最优性保证

凸化后，边际增益 g(i) 满足递减性质 → 贪心算法等价于凸资源分配问题的最优解 → 贪心 = DP 最优。论文图 2a 验证了贪心解与精确 DP 解完全一致。

相关概念

• global-combinatorial-optimization — 凸松弛求解的目标问题
• marginal-utility — 凸松弛后得到的有序边际增益
• offline-profiling — profiling 中离线完成凸松弛计算
• isotonic-regression — PAVA 属于保序回归方法

参考

• tang-lukv (Tang et al., ICML 2026) — 附录 A.1 给出非凸性证明