---
title: 确定性奖励 (Certainty-Based Rewards)
created: 2025-04-15
updated: 2026-05-01
type: concept
tags: []
sources: []
---

# 确定性奖励 (Certainty-Based Rewards)

**URLVR 的内在奖励范式之一**，从策略的置信度（logits/概率分布）推导奖励，假设更高置信度 = 更正确。

## 代表方法

| 方法 | 奖励函数 | 核心思想 |
|------|---------|---------|
| EM-RL | 轨迹级平均对数概率 | 鼓励低熵（高置信）轨迹 |
| RENT | 序列级熵最小化 | 同上，不同归一化 |
| RLIF | 自确定性 (KL 散度) | 鼓励输出分布偏离均匀 |
| RLSC | 概率自我一致性 | 高概率采样点的自我一致性 |
| RLSF | 概率差异 | 交叉样本概率对比 |

## 理论局限

[[intrinsic-rewards-sharpening|Sharpening 理论]] 揭示了确定性奖励的根本问题：置信度是模型内部状态——它只反映"模型认为什么是对的"，而非"什么客观上是对的"。当模型自信但错误时，确定性奖励在积极强化错误。

## 对比 Ensemble-Based

| 确定性奖励 | [[ensemble-based-rewards|集成奖励]] |
|-----------|------|
| 单次前向传播 | 需多次采样 |
| 计算成本低 | 计算成本高 |
| 完全依赖模型内部状态 | 通过多样本交叉验证 |
| 同样受 Sharpening 限制 | 同样受 Sharpening 限制 |

## 相关概念

- [[ensemble-based-rewards]] — 另一内在范式
- [[intrinsic-rewards-sharpening]] — 统一理论
- [[unsupervised-rlvr]] — URLVR 全景
- [[he-urlvr-sharpening-2026]] — 综述参考