---
title: 自我验证奖励 (Self-Verification Rewards)
created: 2025-04-15
updated: 2026-05-01
type: concept
tags: []
sources: []
---

# 自我验证奖励 (Self-Verification Rewards)

**利用生成-验证不对称性 (generation-verification asymmetry) 构建外部奖励信号的 URLVR 方法**，被 He et al. (ICLR 2026) 识别为突破内在奖励天花板的关键路径。

## 核心机制

核心洞见：很多任务中 **生成正确答案很难，但验证答案正确性很简单**。

模型生成候选解 → 模型自己验证这些解（通过验证提示词输出二元正确性） → 正确性判定作为 RL 奖励

## 与内在奖励的本质区别

| 特性 | [[intrinsic-rewards-sharpening|内在奖励]] | Self-Verification |
|------|------|------|
| 奖励来源 | 模型内部状态（logits/熵）| 外部计算过程 |
| 是否受模型先验限制 | ✅ 是（只锐化已有知识）| ❌ 否（验证可以超越生成能力）|
| 崩溃风险 | 不可避免 | 初步实验未观察到 |

## 实验证据

He et al. 在 Countdown 任务上训练 Qwen3-1.7B/4B：
- **内在奖励**: 先升后降，最终崩溃
- **Self-verification**: 持续改进，无崩溃模式
- 生成-验证不对称性使模型能够为"自己生成不出来的解"提供准确验证

## 深层洞见

这正是 **代码和数学验证的优势所在** — 这些领域中"验证比生成容易"的差距随着问题难度增大而扩大，使得基于验证的信号真正具备可扩展性。

## 相关概念

- [[generation-verification-asymmetry]] — 底层原理
- [[unsupervised-rlvr]] — URLVR 全景
- [[intrinsic-rewards-sharpening]] — 内在奖励的对比面
- [[he-urlvr-sharpening-2026]] — 综述参考