---
title: 集成奖励 (Ensemble-Based Rewards)
created: 2025-04-15
updated: 2026-05-01
type: concept
tags: []
sources: []
---

# 集成奖励 (Ensemble-Based Rewards)

**URLVR 的内在奖励范式之一**，从多次采样的一致性（多数投票）推导奖励，假设一致性 = 正确性。

## 代表方法

| 方法 | 奖励构造 | 核心思想 |
|------|---------|---------|
| TTRL | 多数投票匹配 | 与多数答案一致 → +1 |
| SRT | 自奖励训练 | 多数答案作为伪标签 |
| SeRL | 自进化 RL | 多样本交叉验证 |
| R-Zero | 零监督推理 | 集成一致性驱动 |
| Co-Reward | 协同奖励 | 多模型交叉验证 |
| EMPO | 聚类奖励 | 聚类中心作为伪答案 |

## 理论局限

虽然集成奖励比 [[certainty-based-rewards|确定性奖励]] 多了"多样本交叉验证"的维度，但 [[intrinsic-rewards-sharpening|Sharpening 理论]] 证明它同样收敛于锐化初始分布：多数投票的统计特性依赖模型初始偏好的分布，而锐化机制恰好放大了这些偏好。

## 对比 Certainty-Based

| 集成奖励 | [[certainty-based-rewards|确定性奖励]] |
|---------|------|
| 多次采样（计算昂贵） | 单次前向（计算便宜）|
| 样本间一致性驱动 | 样本内置信度驱动 |
| 采样多样性 → 更好信号 | 速度快但可能更偏置 |

## 相关概念

- [[certainty-based-rewards]] — 另一内在范式
- [[intrinsic-rewards-sharpening]] — 统一理论
- [[unsupervised-rlvr]] — URLVR 全景
- [[he-urlvr-sharpening-2026]] — 综述参考
