20260706:新增一些文章

reviews/rubrics-survey-review-2026-06-27.md

@@ -0,0 +1,48 @@
+---
+title: "Rubrics Survey Review"
+created: 2026-06-27
+updated: 2026-06-27
+type: review
+paper: "rubrics-survey-2026"
+---
+
+# Review: The Rules of the Game — A Survey of Rubrics for LLMs
+
+## 📌 基本信息
+
+- **标题**: The Rules of the Game: A Survey of Rubrics for Large Language Models
+- **作者**: Wenhan Liu, Jiajie Jin, Zhaoheng Huang, Tongyu Wen, Guanting Dong, Ziliang Zhao, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen (Renmin University of China)
+- **日期**: 2026-05-22
+- **领域**: LLM Evaluation, Reward Modeling, Rubric
+- **Wiki 添加时间**: 2026-06-27
+
+## 🎯 核心概念
+
+1. **[[rubrics-for-llms|Rubrics for LLMs]]** — 结构化、显式的多维度评估标准，填补了传统标量奖励和 LLM judge 在开放任务中的不足
+2. **[[rubric-construction|Rubric Construction]]** — 四大构建范式：直接生成 → 对比生成 → 迭代精炼 → 在线协同演化，从静态到动态递进
+3. **[[rubric-aggregation|Rubric Aggregation]]** — 逐项评分后如何合并为总分（直接平均 / 加权求和 / 隐式聚合）
+4. **[[rubric-based-reward-modeling|Rubric-Based Reward Modeling]]** — rubric 从评估工具变为训练信号：policy model RL × reward model 训练的三种角色
+5. **[[rubric-driven-evaluation|Rubric-Driven Evaluation]]** — 覆盖通用任务（推理/研究/Agent/对齐）和领域特定任务的全景评估体系
+6. **[[rubric-personalization|Rubric Personalization]]** — 从通用标准到个体偏好的过渡：PREFINE 的伪用户 agent 方法
+7. **[[rubric-safety|Rubric Safety]]** — RIPD 攻击面：rubric 本身可能成为隐秘的偏好偏移向量
+
+## 🔗 概念网络
+
+- **核心连接**: [[rubrics-for-llms]] ↔ [[rubric-construction]] ↔ [[rubric-based-reward-modeling]] ↔ [[rubric-driven-evaluation]]
+- **跨概念连接**: [[rubrics-for-llms]] ↔ [[llm-as-a-judge]] / [[rlvr-unified-framework|RLVR]] / [[reward-hacking]]
+- **开放问题链**: [[rubric-safety]] → RIPD → [[reward-hacking]] → [[rubric-personalization]]（偏好推断）
+- **复用已有概念**: [[reward-hacking]], [[rlvr-unified-framework]]
+
+## 📚 Wiki 集成
+
+- **新增页面**: 11 个（1 论文 + 1 raw + 9 概念）
+- **9 概念**: rubrics-for-llms, rubric-construction, rubric-aggregation, rubric-based-reward-modeling, rubric-driven-evaluation, rubric-personalization, rubric-safety, llm-as-a-judge
+- **链接密度**: 论文主页引用 10+ 概念，概念间高密度交叉引用
+
+## 💡 关键洞察
+
+1. **Rubric 是评估基础设施的"中间层"** — 它不是替代 reward model 或 LLM judge，而是为两者提供显式、可编辑的评估标准。这与 sz 对 Agent Harness 多维度约束的思考高度对齐：rubric 正是将"质量维度"可操作化的接口。
+
+2. **从静态到协同演化的范式演进** — rubric construction 从一次性生成（Direct/Contrastive）→ 迭代精炼（Refinement）→ 在线协同演化（Online/Co-evolving），与 Agent 训练中的 curriculum learning、self-play 趋势共振。最激进的 Online 方法（DR-Tulu, SibylSense）本质上是让 rubric 和 policy 互相塑造。
+
+3. **Rubric 安全是一个被低估的系统性风险** — RIPD 揭示的 pipeline 级联效应（rubric → judge → preference data → policy → 不可检测的漂移）与 reward hacking 一样危险但更隐蔽，因为 rubric 修改"看起来合理"。这直接关联到 Agent 记忆系统评估的可靠性问题。