1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Rubrics for LLMs | 2026-06-27 | 2026-06-27 | concept |
|
|
Rubrics for LLMs
定义
在 LLM 语境中，rubric（评分量规）是一组结构化的、显式的评估标准，将输出质量的评价分解为多个可解释的维度和项目（rubric items）。
形式化定义：R = {(dⱼ, wⱼ)}ᵏⱼ₌₁，其中 dⱼ 是第 j 个 rubric item 的自然语言描述，wⱼ 是其权重。评判者逐项打分 cⱼ(x, y) ∈ [0, 1]，聚合得分为加权归一化值 S_R。
两种类型
- Holistic rubric（整体量规）：对输出给出单一总分
- Analytic rubric（分析量规）：将评估分解为多个维度，逐项打分。对 LLM 开放任务更有用——可以精确定位输出在哪个维度失败，提供更细粒度的训练信号
Rubrics 的定位：评估标准，非评估者
Rubrics 与相关概念的区分：
| 概念 | 角色 |
|---|---|
| Rubrics | 评估什么（what standards） |
| [[llm-as-a-judge | LLM-as-a-Judge]] |
| Reward Model | 如何输出分数（how to score） |
| [[rlvr-unified-framework | RLVR]] |
Rubrics 不替代这些概念，而是作为可解释的中间层，同时支撑评估和训练。
核心价值
- 透明性：评估标准显式化，可检查、可编辑
- 可控性：可调整各维度的权重、修改 rubric items
- 可诊断性：知道模型在哪个维度表现不佳
- 通用性：既可用于评估也可用于训练信号