---
title: "Rubric Construction"
created: 2026-06-27
updated: 2026-06-27
type: concept
tags:
  - rubric
  - evaluation
  - generation
sources:
  - "rubrics-survey-2026"
---

# Rubric Construction

## 定义

Rubric construction 是指为特定任务、领域或模型行为**自动或半自动地生成评分量规**的过程。这是 rubric 系统中的上游环节——量规的质量直接决定下游评估和训练的可靠性。

## 四大构建范式

### 1. Direct Generation（直接生成）
直接从 query 或 (query, answer) 对生成 rubric items，无质量控制循环。
- 代表：RaR, RLCF, CARMO
- 特点：简单快速，但可能产生冗余或低质量 item

### 2. Contrastive Generation（对比生成）
从偏好对（preferred vs. dispreferred responses）中提取区分性标准。
- 代表：OpenRubrics, CDRRM, MaMs, Auto-Rubric
- 特点：能捕捉到模型输出中的细微差异，构建更细粒度的标准

### 3. Iterative Refinement（迭代精炼）
通过多轮验证、分解、压缩来优化 rubric。
- 子类：
  - **Verification-Driven**：RRD, Search-Gen-V —— 用证据/rollout 验证 rubric 准确性
  - **Structural Decomposition**：RubricHub, Data-Driven Rubrics —— 结构化解构
  - **De-duplication & Compression**：CARO, InfiMed-ORBIT, OptimSyn —— 去除冗余、压缩合并
- 特点：质量最高，但计算成本大

### 4. Online & Co-evolving Generation（在线协同演化）
在训练过程中动态调整 rubric，与策略模型或奖励模型协同优化。
- 代表：DR-Tulu, Rubric-ARM, Online Rubrics, SibylSense, OpenRS, RLCER, AutoRubric-R1V, RLAC
- 特点：适应训练过程中的分布漂移，形成 rubric ↔ policy 的协同演化循环

## 输入信号

不同方法使用的输入信号包括：
- Query only
- Query + Answer pairs
- Preference pairs (preferred vs dispreferred)
- Failure trajectories
- Human preferences

## 参考

- [[rubrics-for-llms|Rubrics for LLMs]]
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
- [[rubric-aggregation]]
- [[rubric-based-reward-modeling]]