20260625:很多新内容

reviews/lukv-review-20260618.md

@@ -0,0 +1,77 @@
+---
+title: "Review: LU-KV — Global Combinatorial Optimization for KV Cache Eviction"
+created: 2026-06-18
+type: review
+tags: ["kv-cache", "combinatorial-optimization", "llm-inference"]
+---
+
+# LU-KV Review
+
+📌 基本信息
+- **论文标题**：Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction
+- **作者**：Ziyao Tang, Pengkun Jiao, Xinhang Chen, Wei Liu, Shiyong Li, Jingjing Chen
+- **机构**：复旦大学 + 百度百舸 AI Team
+- **发表**：ICML 2026, PMLR 306
+- **arXiv ID**：2602.08585v2
+- **领域**：cs.LG / cs.AI — 大模型推理优化
+- **Wiki 添加时间**：2026-06-18
+
+🎯 核心概念
+
+1. [[oracle-importance]] — 基于未来解码窗口中 token 对输出向量的最大潜在贡献定义的真实重要性度量，是评估所有启发式指标的金标准
+2. [[optimality-gap]] — 启发式指标 π 与 Oracle 指标 π* 之间的性能差距，严格分解为 Hits/Misses/False Positives 三类
+3. [[long-horizon-utility]] — LU-KV 的核心视角：从未来解码步骤评估 token 的真实贡献，而非依赖 prefill 瞬时的注意力分数
+4. [[global-combinatorial-optimization]] — 将 head 级预算分配形式化为约束全局优化问题，最小化聚合驱逐损失
+5. [[marginal-utility]] — 每增加一单位预算对长期语义信息保存的边际增益，是驱动贪心分配策略的核心信号
+6. [[convex-hull-relaxation]] — PAVA 保序回归将非凸离散损失序列凸化，使贪心解达到 DP 最优
+7. [[offline-profiling]] — 三阶段离线校准协议（合成上下文 → Oracle 计算 → Profile 聚合），桥接理论与部署
+
+🔗 概念网络
+
+**核心连接链**：
+```
+[[kv-cache]] → [[kv-cache-eviction]]
+  → [[intra-head-eviction]] + [[cross-head-budget-allocation]]
+    → [[head-level-budget-allocation]]
+      → [[global-combinatorial-optimization]]
+        → [[convex-hull-relaxation]] + [[marginal-utility]]
+          → [[oracle-importance]] → [[optimality-gap]]
+            → [[long-horizon-utility]]
+              → [[offline-profiling]] → [[lukv]]
+```
+
+**方法基线链**：
+```
+[[heuristic-metric]] ← [[snapkv]], [[keydiff]]
+[[cross-head-budget-allocation]] ← [[pyramidkv]], [[adkv]], [[lukv]]
+```
+
+- **扩展网络**：连接了 18 个新概念 + 论文主页面，新增 19 个页面
+- **概念密度**：核心概念平均 5-8 个双向链接，形成紧密交叉引用网络
+- **新增概念**：18 个（全部为此论文首次引入 wiki）
+
+📚 Wiki 集成
+
+- **新增页面**：19 个（1 论文页 `tang-lukv` + 18 概念页）
+- **论文页面**：[[tang-lukv]] — 包含完整方法框架、实验总结和相关概念链接
+- **raw 存档**：`raw/papers/tang-lukv-2026.md`
+- **概念分类**：
+  - 基础概念（2）：[[kv-cache]], [[kv-cache-eviction]]
+  - 框架核心（6）：[[lukv]], [[oracle-importance]], [[optimality-gap]], [[long-horizon-utility]], [[marginal-utility]], [[heuristic-metric]]
+  - 方法论（4）：[[global-combinatorial-optimization]], [[convex-hull-relaxation]], [[offline-profiling]], [[head-level-budget-allocation]]
+  - 范式组件（2）：[[intra-head-eviction]], [[cross-head-budget-allocation]]
+  - 基线方法（4）：[[snapkv]], [[pyramidkv]], [[adkv]], [[keydiff]]
+
+💡 关键洞察
+
+1. **范式转换：从"被动丢弃"到"战略性投资"**
+   
+   LU-KV 最大的贡献不是某个具体的驱逐算法，而是**重新概念化了 KV Cache 驱逐问题**。传统方法问"哪些 token 可以丢掉？"，LU-KV 问"如何在各 head 间最优配预算以实现长期信息保存最大化？"——这是经济学 ROI 思维在系统优化中的精巧应用。
+
+2. **指标无关设计的工程智慧**
+
+   与其发明第 N+1 个更好的 token 评分指标，LU-KV 选择了一个"元层面"的切入：接受任何指标的不完美，通过显式建模其与 Oracle 的对齐程度来"扬长避短"——将预算集中到指标-现实对齐度高的 head。这种 decoupling 策略在实际部署中极为实用：已有的 SnapKV/KeyDiff 用户可零改动接入 LU-KV 获得性能提升。
+
+3. **ICML 2026 的实用主义信号**
+
+   本文发表于 ICML 2026，体现了一个趋势：顶级 ML 会议越来越接纳"将经典优化技术（凸松弛、贪心算法）精巧应用于 LLM 系统瓶颈"的工作，而非只追求全新的神经网络架构。这对研究方向有启示意义。