36 lines
1.3 KiB
Markdown
36 lines
1.3 KiB
Markdown
---
|
||
title: "Isotonic Regression"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["optimization", "statistics", "convex-relaxation"]
|
||
sources: ["https://arxiv.org/abs/2602.08585"]
|
||
---
|
||
|
||
# Isotonic Regression
|
||
|
||
## 定义
|
||
|
||
Isotonic Regression（保序回归）是一种约束优化方法，在保持数据点单调性约束（非降或非增）的前提下拟合一个序列。在 LU-KV 的 [[convex-hull-relaxation]] 中，PVAA（Pool Adjacent Violators Algorithm）被用于对离散损失序列做保序回归，将其投影为单调非增序列，从而得到凸化代用损失。
|
||
|
||
## PAVA 算法
|
||
|
||
PAVA（Pool Adjacent Violators Algorithm）是最经典的保序回归求解器：
|
||
|
||
1. 遍历序列，检测违反单调约束的相邻元素（violators）
|
||
2. 将 violators 合并为 block，赋值为 block 内元素的平均值
|
||
3. 重复直到序列满足单调约束
|
||
|
||
在 LU-KV 中，PAVA 将非单调的边际递减量 d(i) 投影为单调非增的 d̆(i)。
|
||
|
||
## 相关概念
|
||
|
||
- [[convex-hull-relaxation]] — 在 LU-KV 中通过保序回归实现凸松弛
|
||
- [[global-combinatorial-optimization]] — 保序回归使贪心解达到最优
|
||
- [[tang-lukv|LU-KV]] — 使用 PAVA 的论文
|
||
|
||
## 参考
|
||
|
||
- Barlow & Brunk (1972) — PAVA 算法的经典文献
|
||
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026) — 附录 A.2
|