---
title: "Rubrics for LLMs"
created: 2026-06-27
updated: 2026-06-27
type: concept
tags:
  - rubric
  - evaluation
  - reward-modeling
  - llm
sources:
  - "rubrics-survey-2026"
---

# Rubrics for LLMs

## 定义

在 LLM 语境中，**rubric**（评分量规）是一组结构化的、显式的评估标准，将输出质量的评价分解为多个可解释的维度和项目（rubric items）。

形式化定义：R = {(dⱼ, wⱼ)}ᵏⱼ₌₁，其中 dⱼ 是第 j 个 rubric item 的自然语言描述，wⱼ 是其权重。评判者逐项打分 cⱼ(x, y) ∈ [0, 1]，聚合得分为加权归一化值 S_R。

## 两种类型

- **Holistic rubric（整体量规）**：对输出给出单一总分
- **Analytic rubric（分析量规）**：将评估分解为多个维度，逐项打分。对 LLM 开放任务更有用——可以精确定位输出在哪个维度失败，提供更细粒度的训练信号

## Rubrics 的定位：评估标准，非评估者

Rubrics 与相关概念的区分：

| 概念 | 角色 |
|------|------|
| Rubrics | **评估什么**（what standards） |
| [[llm-as-a-judge|LLM-as-a-Judge]] | **谁来评估**（who evaluates） |
| Reward Model | **如何输出分数**（how to score） |
| [[rlvr-unified-framework|RLVR]] | **如何自动验证**（how to verify） |

Rubrics 不替代这些概念，而是作为可解释的中间层，同时支撑评估和训练。

## 核心价值

1. **透明性**：评估标准显式化，可检查、可编辑
2. **可控性**：可调整各维度的权重、修改 rubric items
3. **可诊断性**：知道模型在哪个维度表现不佳
4. **通用性**：既可用于评估也可用于训练信号

## 参考

- [[rubrics-survey-2026|Rubrics Survey (2026)]]
- [[rubric-construction]]
- [[rubric-aggregation]]
- [[rubric-based-reward-modeling]]
- [[rubric-driven-evaluation]]