46 lines
1.3 KiB
Markdown
46 lines
1.3 KiB
Markdown
---
|
||
title: "Rubric Aggregation"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: concept
|
||
tags:
|
||
- rubric
|
||
- evaluation
|
||
- scoring
|
||
sources:
|
||
- "rubrics-survey-2026"
|
||
---
|
||
|
||
# Rubric Aggregation
|
||
|
||
## 定义
|
||
|
||
Rubric aggregation 指将多个 rubric item 的逐项评分**合并为单一总分**的方法。这是 rubric 评估流水线中 form item scores → overall score 的关键步骤。
|
||
|
||
## 三类聚合策略
|
||
|
||
### 1. 直接平均/求和 (Direct Averaging/Summation)
|
||
所有 rubric items 等权重，直接加总或平均：
|
||
- S_avg = (1/k) Σ cⱼ
|
||
- S_sum = Σ cⱼ
|
||
- 最简单透明，适用于所有 items 同等重要时
|
||
|
||
### 2. 加权求和 (Weighted Summation)
|
||
不同 items 赋予不同权重：
|
||
- S_R = Σ wⱼcⱼ / Σ wⱼ
|
||
- 允许关键维度（如 safety、task completion）权重更高
|
||
- 最灵活，但是权重设计本身成为新的设计挑战
|
||
|
||
### 3. 隐式聚合 (Implicit Aggregation)
|
||
将完整 rubric + 模型输出直接交给 judge model，让它隐式输出总分：
|
||
- S_imp = f_ϕ(x, y, R)
|
||
- 推理时更简单、成本更低，但不再能观察到每个 item 的贡献
|
||
|
||
### 本文主要聚焦显式聚合（加权求和/直接平均），因为可检查、可分析。
|
||
|
||
## 参考
|
||
|
||
- [[rubrics-for-llms|Rubrics for LLMs]]
|
||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||
- [[rubric-driven-evaluation]]
|