49 lines
3.4 KiB
Markdown
49 lines
3.4 KiB
Markdown
---
|
||
title: "Rubrics Survey Review"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: review
|
||
paper: "rubrics-survey-2026"
|
||
---
|
||
|
||
# Review: The Rules of the Game — A Survey of Rubrics for LLMs
|
||
|
||
## 📌 基本信息
|
||
|
||
- **标题**: The Rules of the Game: A Survey of Rubrics for Large Language Models
|
||
- **作者**: Wenhan Liu, Jiajie Jin, Zhaoheng Huang, Tongyu Wen, Guanting Dong, Ziliang Zhao, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen (Renmin University of China)
|
||
- **日期**: 2026-05-22
|
||
- **领域**: LLM Evaluation, Reward Modeling, Rubric
|
||
- **Wiki 添加时间**: 2026-06-27
|
||
|
||
## 🎯 核心概念
|
||
|
||
1. **[[rubrics-for-llms|Rubrics for LLMs]]** — 结构化、显式的多维度评估标准，填补了传统标量奖励和 LLM judge 在开放任务中的不足
|
||
2. **[[rubric-construction|Rubric Construction]]** — 四大构建范式：直接生成 → 对比生成 → 迭代精炼 → 在线协同演化，从静态到动态递进
|
||
3. **[[rubric-aggregation|Rubric Aggregation]]** — 逐项评分后如何合并为总分（直接平均 / 加权求和 / 隐式聚合）
|
||
4. **[[rubric-based-reward-modeling|Rubric-Based Reward Modeling]]** — rubric 从评估工具变为训练信号：policy model RL × reward model 训练的三种角色
|
||
5. **[[rubric-driven-evaluation|Rubric-Driven Evaluation]]** — 覆盖通用任务（推理/研究/Agent/对齐）和领域特定任务的全景评估体系
|
||
6. **[[rubric-personalization|Rubric Personalization]]** — 从通用标准到个体偏好的过渡：PREFINE 的伪用户 agent 方法
|
||
7. **[[rubric-safety|Rubric Safety]]** — RIPD 攻击面：rubric 本身可能成为隐秘的偏好偏移向量
|
||
|
||
## 🔗 概念网络
|
||
|
||
- **核心连接**: [[rubrics-for-llms]] ↔ [[rubric-construction]] ↔ [[rubric-based-reward-modeling]] ↔ [[rubric-driven-evaluation]]
|
||
- **跨概念连接**: [[rubrics-for-llms]] ↔ [[llm-as-a-judge]] / [[rlvr-unified-framework|RLVR]] / [[reward-hacking]]
|
||
- **开放问题链**: [[rubric-safety]] → RIPD → [[reward-hacking]] → [[rubric-personalization]]（偏好推断）
|
||
- **复用已有概念**: [[reward-hacking]], [[rlvr-unified-framework]]
|
||
|
||
## 📚 Wiki 集成
|
||
|
||
- **新增页面**: 11 个（1 论文 + 1 raw + 9 概念）
|
||
- **9 概念**: rubrics-for-llms, rubric-construction, rubric-aggregation, rubric-based-reward-modeling, rubric-driven-evaluation, rubric-personalization, rubric-safety, llm-as-a-judge
|
||
- **链接密度**: 论文主页引用 10+ 概念，概念间高密度交叉引用
|
||
|
||
## 💡 关键洞察
|
||
|
||
1. **Rubric 是评估基础设施的"中间层"** — 它不是替代 reward model 或 LLM judge，而是为两者提供显式、可编辑的评估标准。这与 sz 对 Agent Harness 多维度约束的思考高度对齐：rubric 正是将"质量维度"可操作化的接口。
|
||
|
||
2. **从静态到协同演化的范式演进** — rubric construction 从一次性生成（Direct/Contrastive）→ 迭代精炼（Refinement）→ 在线协同演化（Online/Co-evolving），与 Agent 训练中的 curriculum learning、self-play 趋势共振。最激进的 Online 方法（DR-Tulu, SibylSense）本质上是让 rubric 和 policy 互相塑造。
|
||
|
||
3. **Rubric 安全是一个被低估的系统性风险** — RIPD 揭示的 pipeline 级联效应（rubric → judge → preference data → policy → 不可检测的漂移）与 reward hacking 一样危险但更隐蔽，因为 rubric 修改"看起来合理"。这直接关联到 Agent 记忆系统评估的可靠性问题。
|