20260625:很多新内容

raw/papers/tang-lukv-2026.md

@@ -0,0 +1,59 @@
+---
+title: "Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction"
+authors: ["Ziyao Tang", "Pengkun Jiao", "Xinhang Chen", "Wei Liu", "Shiyong Li", "Jingjing Chen"]
+date: 2026-02-09
+arxiv_id: "2602.08585v2"
+categories: ["cs.LG", "cs.AI"]
+venue: "ICML 2026"
+affiliations: ["Fudan University", "Baidu Inc. (Baige AI Team)"]
+paper_type: "conference"
+---
+
+# Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction
+
+## 摘要
+
+KV cache 的线性内存增长是大模型长上下文推理的核心瓶颈。现有 KV cache eviction 方法依赖瞬时启发式指标（instantaneous heuristic metrics），假设注意力分数在所有 head 中都是一致的重要性代理。然而，不同 attention head 在预测保真度（predictive fidelity）上存在异质性：某些 head 侧重即时贡献，另一些则捕捉长期效用（long-horizon utility）。本文提出 LU-KV 框架，将 head 级别预算分配建模为全局组合优化问题，通过凸包松弛（convex-hull relaxation）和边际效用贪心求解器获得近优解，并设计离线 profiling 协议支持实际部署。在 LongBench 和 RULER 上以 80% KV cache 压缩率实现最小性能损失。
+
+## 核心贡献
+
+1. 识别了启发式重要性指标与长视界边际效用之间的关键差距（optimality gap）
+2. 将预算分配形式化为长期效用最大化问题，提出凸包松弛 + 边际效用贪心求解器
+3. 设计了数据驱动的离线 profiling 协议，使理论优化可在实际推理中部署
+4. 指标无关（metric-agnostic）：可适配 SnapKV、KeyDiff、CAKE、KVZip 等多种 intra-head 评分方法
+
+## 关键概念
+
+- [[oracle-importance]]：Oracle 重要性，基于未来解码窗口中 token 对输出向量的最大潜在贡献
+- [[optimality-gap]]：启发式指标与 Oracle 指标之间的最优性差距
+- [[long-horizon-utility]]：长视界效用，区别于瞬时注意力分数
+- [[global-combinatorial-optimization]]：全局预算分配的组合优化形式化
+- [[convex-hull-relaxation]]：通过 PAVA 等保序回归方法对离散损失序列做凸松弛
+- [[marginal-utility]]：边际效用，用于驱动贪心分配策略
+- [[offline-profiling]]：合成上下文 → Oracle 计算 → Profile 聚合的三阶段离线校准
+
+## 实验结果
+
+- LongBench：80% 压缩率下，LU-KV 在 Llama-3.1-8B、Mistral-7B、Qwen2.5-32B 上全面优于 Uniform、PyramidKV、AdaKV 等基线
+- RULER：在 4K-128K 扩展上下文窗口下保持检索鲁棒性
+- 离线 profile 在不同任务间具有高度一致的迁移性（transferability）
+- 可兼容 SnapKV、KeyDiff、CAKE、KVZip 等多种 intra-head 指标
+
+## 方法框架
+
+LU-KV 采用两阶段范式：
+1. **Intra-head scoring**：使用任意启发式指标 π 对 token 评分排序
+2. **Cross-head budget allocation**：通过全局组合优化确定每个 head 的最优预算 b_{ℓ,h}
+
+核心分解：`Eviction Loss = Oracle Metric Loss + Optimality Gap Loss`
+
+## 参考文献
+
+- SnapKV (Li et al., 2024)
+- H2O (Zhang et al., 2023)
+- PyramidKV (Cai et al., 2024)
+- AdaKV (Feng et al., 2026b)
+- KeyDiff (Park et al., 2025)
+- CriticalKV (Feng et al., 2025)
+- KVZip (Kim et al., 2026)
+- CAKE (Qin et al., 2025)