---
title: "奖励模型 (Reward Model, RM)"
domain: "Reinforcement Learning"
tags: [reward-model, rlhf, grpo, reinforcement-learning]
sources: [[thinking-with-visual-primitives]]
---

# 奖励模型 (Reward Model, RM)

> 在 RLHF/GRPO 训练中提供奖励信号的评判模型——可以是基于规则的、LLM 评判的、或混合的。

## 视觉原语框架中的三类 RM

| RM 类型 | 实现 | 任务覆盖 | 评分维度 |
|---------|------|----------|----------|
| **Format RM** | 规则 | 所有任务 | 格式正确性、防重复/死循环 |
| **Quality RM** | LLM (GRM) | 所有任务 | 一致性、矛盾、冗余、奖励黑客 |
| **Accuracy RM** | 任务特定 | 各任务独立 | 见下方 |

### Accuracy RM 的任务特定设计

- **计数**：[[exponential-decay-reward|指数衰减奖励]] — 平滑相对误差
- **空间推理/VQA**：LLM (GRM) — 思维+答案双维度
- **迷宫导航**：因果探索进度 + 完整性 + 违规惩罚
- **路径追踪**：[[bidirectional-trajectory-evaluation|双向轨迹评估]] + 端点 + 连续性

## 关键设计原则

1. **密集信号**：不为最终答案提供二元奖励，而是每一步都给反馈
2. **因果一致性**：迷宫场景中，遇墙违规→截断后续所有步骤
3. **防奖励黑客**：Quality RM 专门检测模型伪造 ground truth 等行为

## 相关概念

- [[group-relative-policy-optimization|群体相对策略优化]] — 使用 RM 的 RL 算法
- [[specialized-rl|专项强化学习]] — RM 的应用场景