3.4 KiB
3.4 KiB
title, created, updated, type, paper
| title | created | updated | type | paper |
|---|---|---|---|---|
| Rubrics Survey Review | 2026-06-27 | 2026-06-27 | review | rubrics-survey-2026 |
Review: The Rules of the Game — A Survey of Rubrics for LLMs
📌 基本信息
- 标题: The Rules of the Game: A Survey of Rubrics for Large Language Models
- 作者: Wenhan Liu, Jiajie Jin, Zhaoheng Huang, Tongyu Wen, Guanting Dong, Ziliang Zhao, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen (Renmin University of China)
- 日期: 2026-05-22
- 领域: LLM Evaluation, Reward Modeling, Rubric
- Wiki 添加时间: 2026-06-27
🎯 核心概念
- rubrics-for-llms — 结构化、显式的多维度评估标准，填补了传统标量奖励和 LLM judge 在开放任务中的不足
- rubric-construction — 四大构建范式：直接生成 → 对比生成 → 迭代精炼 → 在线协同演化，从静态到动态递进
- rubric-aggregation — 逐项评分后如何合并为总分（直接平均 / 加权求和 / 隐式聚合）
- rubric-based-reward-modeling — rubric 从评估工具变为训练信号：policy model RL × reward model 训练的三种角色
- rubric-driven-evaluation — 覆盖通用任务（推理/研究/Agent/对齐）和领域特定任务的全景评估体系
- rubric-personalization — 从通用标准到个体偏好的过渡：PREFINE 的伪用户 agent 方法
- rubric-safety — RIPD 攻击面：rubric 本身可能成为隐秘的偏好偏移向量
🔗 概念网络
- 核心连接: rubrics-for-llms ↔ rubric-construction ↔ rubric-based-reward-modeling ↔ rubric-driven-evaluation
- 跨概念连接: rubrics-for-llms ↔ llm-as-a-judge / rlvr-unified-framework / reward-hacking
- 开放问题链: rubric-safety → RIPD → reward-hacking → rubric-personalization（偏好推断）
- 复用已有概念: reward-hacking, rlvr-unified-framework
📚 Wiki 集成
- 新增页面: 11 个（1 论文 + 1 raw + 9 概念）
- 9 概念: rubrics-for-llms, rubric-construction, rubric-aggregation, rubric-based-reward-modeling, rubric-driven-evaluation, rubric-personalization, rubric-safety, llm-as-a-judge
- 链接密度: 论文主页引用 10+ 概念，概念间高密度交叉引用
💡 关键洞察
-
Rubric 是评估基础设施的"中间层" — 它不是替代 reward model 或 LLM judge，而是为两者提供显式、可编辑的评估标准。这与 sz 对 Agent Harness 多维度约束的思考高度对齐：rubric 正是将"质量维度"可操作化的接口。
-
从静态到协同演化的范式演进 — rubric construction 从一次性生成（Direct/Contrastive）→ 迭代精炼（Refinement）→ 在线协同演化（Online/Co-evolving），与 Agent 训练中的 curriculum learning、self-play 趋势共振。最激进的 Online 方法（DR-Tulu, SibylSense）本质上是让 rubric 和 policy 互相塑造。
-
Rubric 安全是一个被低估的系统性风险 — RIPD 揭示的 pipeline 级联效应（rubric → judge → preference data → policy → 不可检测的漂移）与 reward hacking 一样危险但更隐蔽，因为 rubric 修改"看起来合理"。这直接关联到 Agent 记忆系统评估的可靠性问题。