---
title: "Long-Horizon Utility"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["kv-cache", "attention", "evaluation"]
sources: ["https://arxiv.org/abs/2602.08585"]
---

# Long-Horizon Utility

## 定义

Long-Horizon Utility（长视界效用）是 LU-KV 提出的核心概念，指从未来解码步骤的视角评估 KV Cache token 的真实贡献，而非依赖于 prefill 阶段的瞬时注意力分数。它是对传统 [[heuristic-metric]] "短视"问题的根本性修正。

## 与传统指标的对立

| 视角 | 指标类型 | 符号 | 时间基准 |
|------|---------|------|---------|
| 短视（Short-horizon） | [[heuristic-metric]] | π | prefill 瞬时 |
| 长视（Long-horizon） | [[oracle-importance]] | π* | 未来解码窗口 |

传统方法（H2O、SnapKV、KeyDiff 等）的评分基于 prefill 阶段计算的注意力权重，这些权重反映了"此刻"的重要程度，但无法预知未来解码步骤中注意力模式的漂移。

## LU-KV 中的体现

在 LU-KV 框架中，Long-Horizon Utility 通过以下方式实现：

1. **Oracle 重要性定义**：I_{l,h,j} = max_k ||A_{l,h,k,j} * v_{l,h,j} * W_O||，明确以未来 K_max 步为评估窗口
2. **边际效用视角**：不是判断 token "现在是否重要"，而是"保留它能为未来生成质量增加多少价值"
3. **离线 profiling**：通过全注意力解码获取真实的未来效用数据，用于标定各 head

## 核心洞察

> 最优预算分配应受**长期语义信息保存的边际效用**支配，而非瞬时重要性分数。

这本质上是一个**时间维度的范式转换**：从"什么 token 现在看起来重要"到"什么 token 未来会被证明重要"。

## 相关概念

- [[oracle-importance]] — 长视界效用的具体量化
- [[marginal-utility]] — 基于长视界效用曲线的投资回报思维
- [[optimality-gap]] — 长视界 vs 短视的差距

## 参考

- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026)