20260625:很多新内容

concepts/isotonic-regression.md

@@ -0,0 +1,35 @@
+---
+title: "Isotonic Regression"
+created: 2026-06-18
+updated: 2026-06-18
+type: concept
+tags: ["optimization", "statistics", "convex-relaxation"]
+sources: ["https://arxiv.org/abs/2602.08585"]
+---
+
+# Isotonic Regression
+
+## 定义
+
+Isotonic Regression（保序回归）是一种约束优化方法，在保持数据点单调性约束（非降或非增）的前提下拟合一个序列。在 LU-KV 的 [[convex-hull-relaxation]] 中，PVAA（Pool Adjacent Violators Algorithm）被用于对离散损失序列做保序回归，将其投影为单调非增序列，从而得到凸化代用损失。
+
+## PAVA 算法
+
+PAVA（Pool Adjacent Violators Algorithm）是最经典的保序回归求解器：
+
+1. 遍历序列，检测违反单调约束的相邻元素（violators）
+2. 将 violators 合并为 block，赋值为 block 内元素的平均值
+3. 重复直到序列满足单调约束
+
+在 LU-KV 中，PAVA 将非单调的边际递减量 d(i) 投影为单调非增的 d̆(i)。
+
+## 相关概念
+
+- [[convex-hull-relaxation]] — 在 LU-KV 中通过保序回归实现凸松弛
+- [[global-combinatorial-optimization]] — 保序回归使贪心解达到最优
+- [[tang-lukv|LU-KV]] — 使用 PAVA 的论文
+
+## 参考
+
+- Barlow & Brunk (1972) — PAVA 算法的经典文献
+- [[tang-lukv|LU-KV]] (Tang et al., ICML 2026) — 附录 A.2