1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Isotonic Regression | 2026-06-18 | 2026-06-18 | concept |
|
|
Isotonic Regression
定义
Isotonic Regression（保序回归）是一种约束优化方法，在保持数据点单调性约束（非降或非增）的前提下拟合一个序列。在 LU-KV 的 convex-hull-relaxation 中，PVAA（Pool Adjacent Violators Algorithm）被用于对离散损失序列做保序回归，将其投影为单调非增序列，从而得到凸化代用损失。
PAVA 算法
PAVA（Pool Adjacent Violators Algorithm）是最经典的保序回归求解器：
- 遍历序列，检测违反单调约束的相邻元素（violators）
- 将 violators 合并为 block，赋值为 block 内元素的平均值
- 重复直到序列满足单调约束
在 LU-KV 中，PAVA 将非单调的边际递减量 d(i) 投影为单调非增的 d̆(i)。
相关概念
- convex-hull-relaxation — 在 LU-KV 中通过保序回归实现凸松弛
- global-combinatorial-optimization — 保序回归使贪心解达到最优
- tang-lukv — 使用 PAVA 的论文
参考
- Barlow & Brunk (1972) — PAVA 算法的经典文献
- tang-lukv (Tang et al., ICML 2026) — 附录 A.2