55 lines
1.8 KiB
Markdown
55 lines
1.8 KiB
Markdown
---
|
||
title: "Rubrics for LLMs"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: concept
|
||
tags:
|
||
- rubric
|
||
- evaluation
|
||
- reward-modeling
|
||
- llm
|
||
sources:
|
||
- "rubrics-survey-2026"
|
||
---
|
||
|
||
# Rubrics for LLMs
|
||
|
||
## 定义
|
||
|
||
在 LLM 语境中，**rubric**（评分量规）是一组结构化的、显式的评估标准，将输出质量的评价分解为多个可解释的维度和项目（rubric items）。
|
||
|
||
形式化定义：R = {(dⱼ, wⱼ)}ᵏⱼ₌₁，其中 dⱼ 是第 j 个 rubric item 的自然语言描述，wⱼ 是其权重。评判者逐项打分 cⱼ(x, y) ∈ [0, 1]，聚合得分为加权归一化值 S_R。
|
||
|
||
## 两种类型
|
||
|
||
- **Holistic rubric（整体量规）**：对输出给出单一总分
|
||
- **Analytic rubric（分析量规）**：将评估分解为多个维度，逐项打分。对 LLM 开放任务更有用——可以精确定位输出在哪个维度失败，提供更细粒度的训练信号
|
||
|
||
## Rubrics 的定位：评估标准，非评估者
|
||
|
||
Rubrics 与相关概念的区分：
|
||
|
||
| 概念 | 角色 |
|
||
|------|------|
|
||
| Rubrics | **评估什么**（what standards） |
|
||
| [[llm-as-a-judge|LLM-as-a-Judge]] | **谁来评估**（who evaluates） |
|
||
| Reward Model | **如何输出分数**（how to score） |
|
||
| [[rlvr-unified-framework|RLVR]] | **如何自动验证**（how to verify） |
|
||
|
||
Rubrics 不替代这些概念，而是作为可解释的中间层，同时支撑评估和训练。
|
||
|
||
## 核心价值
|
||
|
||
1. **透明性**：评估标准显式化，可检查、可编辑
|
||
2. **可控性**：可调整各维度的权重、修改 rubric items
|
||
3. **可诊断性**：知道模型在哪个维度表现不佳
|
||
4. **通用性**：既可用于评估也可用于训练信号
|
||
|
||
## 参考
|
||
|
||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||
- [[rubric-construction]]
|
||
- [[rubric-aggregation]]
|
||
- [[rubric-based-reward-modeling]]
|
||
- [[rubric-driven-evaluation]]
|