20260706:新增一些文章

concepts/rubric-construction.md

@@ -0,0 +1,59 @@
+---
+title: "Rubric Construction"
+created: 2026-06-27
+updated: 2026-06-27
+type: concept
+tags:
+  - rubric
+  - evaluation
+  - generation
+sources:
+  - "rubrics-survey-2026"
+---
+
+# Rubric Construction
+
+## 定义
+
+Rubric construction 是指为特定任务、领域或模型行为**自动或半自动地生成评分量规**的过程。这是 rubric 系统中的上游环节——量规的质量直接决定下游评估和训练的可靠性。
+
+## 四大构建范式
+
+### 1. Direct Generation（直接生成）
+直接从 query 或 (query, answer) 对生成 rubric items，无质量控制循环。
+- 代表：RaR, RLCF, CARMO
+- 特点：简单快速，但可能产生冗余或低质量 item
+
+### 2. Contrastive Generation（对比生成）
+从偏好对（preferred vs. dispreferred responses）中提取区分性标准。
+- 代表：OpenRubrics, CDRRM, MaMs, Auto-Rubric
+- 特点：能捕捉到模型输出中的细微差异，构建更细粒度的标准
+
+### 3. Iterative Refinement（迭代精炼）
+通过多轮验证、分解、压缩来优化 rubric。
+- 子类：
+  - **Verification-Driven**：RRD, Search-Gen-V —— 用证据/rollout 验证 rubric 准确性
+  - **Structural Decomposition**：RubricHub, Data-Driven Rubrics —— 结构化解构
+  - **De-duplication & Compression**：CARO, InfiMed-ORBIT, OptimSyn —— 去除冗余、压缩合并
+- 特点：质量最高，但计算成本大
+
+### 4. Online & Co-evolving Generation（在线协同演化）
+在训练过程中动态调整 rubric，与策略模型或奖励模型协同优化。
+- 代表：DR-Tulu, Rubric-ARM, Online Rubrics, SibylSense, OpenRS, RLCER, AutoRubric-R1V, RLAC
+- 特点：适应训练过程中的分布漂移，形成 rubric ↔ policy 的协同演化循环
+
+## 输入信号
+
+不同方法使用的输入信号包括：
+- Query only
+- Query + Answer pairs
+- Preference pairs (preferred vs dispreferred)
+- Failure trajectories
+- Human preferences
+
+## 参考
+
+- [[rubrics-for-llms|Rubrics for LLMs]]
+- [[rubrics-survey-2026|Rubrics Survey (2026)]]
+- [[rubric-aggregation]]
+- [[rubric-based-reward-modeling]]