20260706:新增一些文章

concepts/rubrics-for-llms.md

@@ -0,0 +1,54 @@
+---
+title: "Rubrics for LLMs"
+created: 2026-06-27
+updated: 2026-06-27
+type: concept
+tags:
+  - rubric
+  - evaluation
+  - reward-modeling
+  - llm
+sources:
+  - "rubrics-survey-2026"
+---
+
+# Rubrics for LLMs
+
+## 定义
+
+在 LLM 语境中，**rubric**（评分量规）是一组结构化的、显式的评估标准，将输出质量的评价分解为多个可解释的维度和项目（rubric items）。
+
+形式化定义：R = {(dⱼ, wⱼ)}ᵏⱼ₌₁，其中 dⱼ 是第 j 个 rubric item 的自然语言描述，wⱼ 是其权重。评判者逐项打分 cⱼ(x, y) ∈ [0, 1]，聚合得分为加权归一化值 S_R。
+
+## 两种类型
+
+- **Holistic rubric（整体量规）**：对输出给出单一总分
+- **Analytic rubric（分析量规）**：将评估分解为多个维度，逐项打分。对 LLM 开放任务更有用——可以精确定位输出在哪个维度失败，提供更细粒度的训练信号
+
+## Rubrics 的定位：评估标准，非评估者
+
+Rubrics 与相关概念的区分：
+
+| 概念 | 角色 |
+|------|------|
+| Rubrics | **评估什么**（what standards） |
+| [[llm-as-a-judge|LLM-as-a-Judge]] | **谁来评估**（who evaluates） |
+| Reward Model | **如何输出分数**（how to score） |
+| [[rlvr-unified-framework|RLVR]] | **如何自动验证**（how to verify） |
+
+Rubrics 不替代这些概念，而是作为可解释的中间层，同时支撑评估和训练。
+
+## 核心价值
+
+1. **透明性**：评估标准显式化，可检查、可编辑
+2. **可控性**：可调整各维度的权重、修改 rubric items
+3. **可诊断性**：知道模型在哪个维度表现不佳
+4. **通用性**：既可用于评估也可用于训练信号
+
+## 参考
+
+- [[rubrics-survey-2026|Rubrics Survey (2026)]]
+- [[rubric-construction]]
+- [[rubric-aggregation]]
+- [[rubric-based-reward-modeling]]
+- [[rubric-driven-evaluation]]