# How Far Can Unsupervised RLVR Scale LLM Training?

- **arXiv ID**: 2603.08660
- **作者**: Bingxiang He, Yuxin Zuo, Zeyuan Liu, et al. (22 authors)
- **机构**: Tsinghua University, Shanghai AI Lab, Xi'an Jiaotong, UIUC, SJTU, Peking University, Frontis.AI
- **日期**: 2026-03-09
- **会议**: Accepted to ICLR 2026
- **GitHub**: https://github.com/PRIME-RL/TTRL
- **标签**: #RLVR #unsupervised-learning #LLM-training #reward-hacking #model-collapse

## 摘要

无监督可验证奖励强化学习 (URLVR) 通过无需 ground truth 标签的奖励信号扩展 LLM 训练。本文建立统一理论框架，揭示所有内在奖励方法本质上都收敛于"锐化模型初始分布 (sharpening)"——当初始置信度与正确性对齐时放大收益，错位时则灾难性失败。实验表明内在奖励始终遵循"先升后降 (rise-then-fall)"模式。提出 Model Collapse Step 作为模型先验的实用指标。最后探索基于计算不对称性的外部奖励方法（self-verification），展示其可能突破置信度-正确性天花板的初步证据。

## 核心贡献

1. **URLVR 分类法**: 将方法分为内在奖励 (intrinsic) 和外部奖励 (external) 两类
2. **统一理论框架**: 证明所有内在方法收敛于锐化初始分布
3. **Rise-then-Fall 模式**: 系统实验跨越多种方法验证统一的先升后降轨迹
4. **Model Collapse Step**: 无需 ground truth 标签的模型先验度量，预测 RL 可训练性
5. **外部突破路径**: Self-verification 展示持续改进而无崩溃模式

## 结构
- Sec 2: URLVR 方法分类（Certainty-based / Ensemble-based）
- Sec 3: Sharpening 机制的理论推导
- Sec 4: 内在 URLVR 何时有效/失败
- Sec 5: 测试时训练中的安全应用
- Sec 6: Model Collapse Step 指标
- Sec 7: 外部奖励方法的突破（Self-verification）
