myWiki/concepts/rubric-based-reward-modeling.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Rubric-Based Reward Modeling	2026-06-27	2026-06-27	concept	rubric reward-modeling rl training	rubrics-survey-2026

Rubric-Based Reward Modeling

定义

将 rubric 用作奖励信号来训练 policy model 或 reward model。Rubric 将多维度评估标准转化为结构化的训练监督信号，弥补传统标量奖励在开放任务中的不足。

Policy Model Training 的三种模式

1. Standard Rubric-based RL

直接用 rubric 定义 RL 中的奖励函数，标准 RL 优化。

• 代表：RLCF, ResearchPlanGen, RaR, OpenRS, Chasing the Tail, RLAC, rDPO, AutoRubric-R1V, RLCER, DR-Tulu, OralGPT-Plus
• 流程：rubric 打分 → 聚合为 scalar reward → RL (PPO/DPO/GRPO)

2. Advanced Reward Design

在标准 RL 基础上设计更精细的奖励机制：

• RBR：rubric-based reward 重塑
• Rubicon：rubric 加权奖励
• SYNTHAGENT：轨迹级 rubric 奖励
• RuCL：rubric 驱动的课程学习
• ARL-RR、PAPO、RTT、DRO
• 关键思想：rubric 不仅是"总分"，还可以塑造奖励的形状和时序分布

3. Rubrics as Policy Guidance

不让 rubric 仅作为外部奖励，而是将其融入模型的推理/规划过程：

• RuscaRL：rubric-conditioned RL
• Think-with-Rubrics：推理时参考 rubric
• HeRL：分层 rubric 指导
• 本质：rubric 从"评分标准"变为"思考框架"

Reward Model Training 的三种角色

1. Rubrics for Interpretability

用 rubric 维度使 reward model 的输出可解释：

• R3, mR3：rubric-agnostic reward reasoning
• CDPRM, RRM, OMNI-RRM, C2, ArmoRM, DeltaRubric, MR-RML
• 输出形式：多维评分向量而非单一标量

2. Rubrics for Reward Signals

用 LLM + rubric 直接生成奖励信号（替代标注数据训练 RM）：

• METAJUDGE, Proxy-GRM

3. Rubrics for Data Construction

用 rubric 构造训练数据：

• CROME：从 rubric 生成偏好数据

参考

• rubrics-for-llms
• rubrics-survey-2026
• rubric-construction
• reward-hacking