20260706:新增一些文章

papers/rubrics-survey-2026.md

@@ -0,0 +1,80 @@
+---
+title: "The Rules of the Game: A Survey of Rubrics for Large Language Models"
+created: 2026-06-27
+updated: 2026-06-27
+type: paper
+source_url: "https://8421bcd.github.io/_pages/Rubrics_Survey.pdf"
+github: "https://github.com/8421BCD/Rubrics_Survey"
+authors:
+  - "Wenhan Liu"
+  - "Jiajie Jin"
+  - "Zhaoheng Huang"
+  - "Tongyu Wen"
+  - "Guanting Dong"
+  - "Ziliang Zhao"
+  - "Yutao Zhu"
+  - "Zhicheng Dou"
+  - "Ji-Rong Wen"
+affiliation: "Renmin University of China"
+date: "2026-05-22"
+tags:
+  - rubric
+  - evaluation
+  - reward-modeling
+  - survey
+  - llm
+---
+
+# The Rules of the Game: A Survey of Rubrics for LLMs
+
+## 核心问题
+
+LLM 正从简单文本生成器进化为推理、决策、工具使用和长周期求解系统。当任务变得开放、高风险（深度研究、医疗诊断、agentic tool use），单一的 correctness 信号和 LLM judge 的偏好分已不足以评估——需要多维度标准。
+
+**Rubrics 填补这个空缺**：将质量评估分解为显式的 [[rubrics-for-llms|结构化评分项目]]，逐项打分后聚合，同时提供透明、可控、可诊断的评估，并可转化为训练监督信号。
+
+## 论文贡献
+
+1. **首次全面综述** LLM 的 rubric-based 研究
+2. **系统分类** rubric 构建方法为四大范式：[[rubric-construction|直接生成、对比生成、迭代精炼、在线协同演化]]
+3. **全面回顾** rubric 在模型训练中的应用：[[rubric-based-reward-modeling|Policy model RL + Reward model training]]
+4. **深度讨论** 开放挑战：[[reward-hacking|rubric reward hacking]]、泛化性、[[rubric-safety|rubric 安全]]、[[rubric-personalization|个性化 rubric]]、评估偏置
+
+## 关键框架
+
+### Rubric 形式化定义
+R = {(dⱼ, wⱼ)}ᵏⱼ₌₁，逐项打分 cⱼ(x,y) ∈ [0,1]，[[rubric-aggregation|加权聚合]]为 S_R。
+
+### 概念区分
+Rubrics = **评估标准**（what） vs [[llm-as-a-judge|LLM-as-a-Judge]] = **评估者**（who） vs Reward Model = **输出分数方式**（how） vs [[rlvr-unified-framework|RLVR]] = **自动验证方式**。
+
+### Rubric 构建四范式
+
+| 范式 | 机制 | 代表作 |
+|------|------|--------|
+| Direct Generation | 从 query/answer 直接生成 | RaR, RLCF, CARMO |
+| Contrastive Generation | 从偏好对提取区分标准 | OpenRubrics, CDRRM, MaMs |
+| Iterative Refinement | 验证→分解→压缩循环 | RRD, RubricHub, CARO, OptimSyn |
+| Online/Co-evolving | 训练中动态调整 | DR-Tulu, Rubric-ARM, OpenRS, SibylSense |
+
+### Rubric 用于训练
+
+- **Policy Model**: Standard RL / Advanced Reward Design / Rubrics as Policy Guidance
+- **Reward Model**: Interpretability (R3, ArmoRM) / Reward Signals (METAJUDGE) / Data Construction (CROME)
+
+### Rubric 用于评估
+
+- **通用任务**: Reasoning, Deep Research, Agent, Alignment — [[rubric-driven-evaluation|多维度 benchmark]]
+- **领域特定**: 医疗 QA, 多模态生成, 代码生成, 视频理解
+
+## 开放问题
+
+1. **Rubric Reward Hacking**: policy 学会利用 rubric 的盲点而非真正提升能力（参见 [[reward-hacking]]）
+2. **泛化性**: rubric-based RM 跨任务/跨领域泛化弱
+3. **评估偏置**: 措辞偏置、judge model 偏置、人类专家分歧
+4. **个性化 Rubric**: 用户专属 vs 通用标准的张力（参见 [[rubric-personalization]]）
+5. **Rubric 安全**: RIPD 攻击——rubric 可被操纵为攻击面（参见 [[rubric-safety]]）
+
+## 来源
+
+[原始存档](raw/papers/rubrics-survey-2026.md) | [GitHub 仓库](https://github.com/8421BCD/Rubrics_Survey) | [PDF](https://8421bcd.github.io/_pages/Rubrics_Survey.pdf)