2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Rubric Construction | 2026-06-27 | 2026-06-27 | concept |
|
|
Rubric Construction
定义
Rubric construction 是指为特定任务、领域或模型行为自动或半自动地生成评分量规的过程。这是 rubric 系统中的上游环节——量规的质量直接决定下游评估和训练的可靠性。
四大构建范式
1. Direct Generation（直接生成）
直接从 query 或 (query, answer) 对生成 rubric items，无质量控制循环。
- 代表：RaR, RLCF, CARMO
- 特点：简单快速，但可能产生冗余或低质量 item
2. Contrastive Generation（对比生成）
从偏好对（preferred vs. dispreferred responses）中提取区分性标准。
- 代表：OpenRubrics, CDRRM, MaMs, Auto-Rubric
- 特点：能捕捉到模型输出中的细微差异，构建更细粒度的标准
3. Iterative Refinement（迭代精炼）
通过多轮验证、分解、压缩来优化 rubric。
- 子类：
- Verification-Driven：RRD, Search-Gen-V —— 用证据/rollout 验证 rubric 准确性
- Structural Decomposition：RubricHub, Data-Driven Rubrics —— 结构化解构
- De-duplication & Compression：CARO, InfiMed-ORBIT, OptimSyn —— 去除冗余、压缩合并
- 特点：质量最高，但计算成本大
4. Online & Co-evolving Generation（在线协同演化）
在训练过程中动态调整 rubric，与策略模型或奖励模型协同优化。
- 代表：DR-Tulu, Rubric-ARM, Online Rubrics, SibylSense, OpenRS, RLCER, AutoRubric-R1V, RLAC
- 特点：适应训练过程中的分布漂移，形成 rubric ↔ policy 的协同演化循环
输入信号
不同方法使用的输入信号包括：
- Query only
- Query + Answer pairs
- Preference pairs (preferred vs dispreferred)
- Failure trajectories
- Human preferences