---
title: "Isotonic Regression"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["optimization", "statistics", "convex-relaxation"]
sources: ["https://arxiv.org/abs/2602.08585"]
---

# Isotonic Regression

## 定义

Isotonic Regression（保序回归）是一种约束优化方法，在保持数据点单调性约束（非降或非增）的前提下拟合一个序列。在 LU-KV 的 [[convex-hull-relaxation]] 中，PVAA（Pool Adjacent Violators Algorithm）被用于对离散损失序列做保序回归，将其投影为单调非增序列，从而得到凸化代用损失。

## PAVA 算法

PAVA（Pool Adjacent Violators Algorithm）是最经典的保序回归求解器：

1. 遍历序列，检测违反单调约束的相邻元素（violators）
2. 将 violators 合并为 block，赋值为 block 内元素的平均值
3. 重复直到序列满足单调约束

在 LU-KV 中，PAVA 将非单调的边际递减量 d(i) 投影为单调非增的 d̆(i)。

## 相关概念

- [[convex-hull-relaxation]] — 在 LU-KV 中通过保序回归实现凸松弛
- [[global-combinatorial-optimization]] — 保序回归使贪心解达到最优
- [[tang-lukv|LU-KV]] — 使用 PAVA 的论文

## 参考

- Barlow & Brunk (1972) — PAVA 算法的经典文献
- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026) — 附录 A.2