27 lines
719 B
Markdown
27 lines
719 B
Markdown
---
|
|
title: RLVR 统一理论框架
|
|
created: 2025-04-15
|
|
updated: 2026-05-01
|
|
type: concept
|
|
tags: []
|
|
sources: []
|
|
---
|
|
|
|
# RLVR 统一理论框架
|
|
|
|
**URLVR 的统一数学框架**，由 He et al. (ICLR 2026) 建立，从 KL 正则化 RL 目标推导出所有内在方法的收敛行为。
|
|
|
|
## 核心结论
|
|
|
|
无论奖励函数具体设计如何，内在 URLVR 的最优策略闭式解统一为：
|
|
|
|
$$\pi_\theta^*(y|x) = \frac{1}{Z(x)} \pi_{ref}(y|x) \exp\left(\frac{1}{\beta}r(x,y)\right)$$
|
|
|
|
这揭示了所有方法本质上都在做「锐化初始分布」。
|
|
|
|
## 相关概念
|
|
|
|
- [[intrinsic-rewards-sharpening]] — Sharpening 机制
|
|
- [[unsupervised-rlvr]] — URLVR 全景
|
|
- [[he-urlvr-sharpening-2026]] — 综述参考
|