60 lines
2.0 KiB
Markdown
60 lines
2.0 KiB
Markdown
---
|
||
title: "Rubric Construction"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: concept
|
||
tags:
|
||
- rubric
|
||
- evaluation
|
||
- generation
|
||
sources:
|
||
- "rubrics-survey-2026"
|
||
---
|
||
|
||
# Rubric Construction
|
||
|
||
## 定义
|
||
|
||
Rubric construction 是指为特定任务、领域或模型行为**自动或半自动地生成评分量规**的过程。这是 rubric 系统中的上游环节——量规的质量直接决定下游评估和训练的可靠性。
|
||
|
||
## 四大构建范式
|
||
|
||
### 1. Direct Generation（直接生成）
|
||
直接从 query 或 (query, answer) 对生成 rubric items，无质量控制循环。
|
||
- 代表：RaR, RLCF, CARMO
|
||
- 特点：简单快速，但可能产生冗余或低质量 item
|
||
|
||
### 2. Contrastive Generation（对比生成）
|
||
从偏好对（preferred vs. dispreferred responses）中提取区分性标准。
|
||
- 代表：OpenRubrics, CDRRM, MaMs, Auto-Rubric
|
||
- 特点：能捕捉到模型输出中的细微差异，构建更细粒度的标准
|
||
|
||
### 3. Iterative Refinement（迭代精炼）
|
||
通过多轮验证、分解、压缩来优化 rubric。
|
||
- 子类：
|
||
- **Verification-Driven**：RRD, Search-Gen-V —— 用证据/rollout 验证 rubric 准确性
|
||
- **Structural Decomposition**：RubricHub, Data-Driven Rubrics —— 结构化解构
|
||
- **De-duplication & Compression**：CARO, InfiMed-ORBIT, OptimSyn —— 去除冗余、压缩合并
|
||
- 特点：质量最高，但计算成本大
|
||
|
||
### 4. Online & Co-evolving Generation（在线协同演化）
|
||
在训练过程中动态调整 rubric，与策略模型或奖励模型协同优化。
|
||
- 代表：DR-Tulu, Rubric-ARM, Online Rubrics, SibylSense, OpenRS, RLCER, AutoRubric-R1V, RLAC
|
||
- 特点：适应训练过程中的分布漂移，形成 rubric ↔ policy 的协同演化循环
|
||
|
||
## 输入信号
|
||
|
||
不同方法使用的输入信号包括：
|
||
- Query only
|
||
- Query + Answer pairs
|
||
- Preference pairs (preferred vs dispreferred)
|
||
- Failure trajectories
|
||
- Human preferences
|
||
|
||
## 参考
|
||
|
||
- [[rubrics-for-llms|Rubrics for LLMs]]
|
||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||
- [[rubric-aggregation]]
|
||
- [[rubric-based-reward-modeling]]
|