1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Rubric Aggregation | 2026-06-27 | 2026-06-27 | concept |
|
|
Rubric Aggregation
定义
Rubric aggregation 指将多个 rubric item 的逐项评分合并为单一总分的方法。这是 rubric 评估流水线中 form item scores → overall score 的关键步骤。
三类聚合策略
1. 直接平均/求和 (Direct Averaging/Summation)
所有 rubric items 等权重，直接加总或平均：
- S_avg = (1/k) Σ cⱼ
- S_sum = Σ cⱼ
- 最简单透明，适用于所有 items 同等重要时
2. 加权求和 (Weighted Summation)
不同 items 赋予不同权重：
- S_R = Σ wⱼcⱼ / Σ wⱼ
- 允许关键维度（如 safety、task completion）权重更高
- 最灵活，但是权重设计本身成为新的设计挑战
3. 隐式聚合 (Implicit Aggregation)
将完整 rubric + 模型输出直接交给 judge model，让它隐式输出总分：
- S_imp = f_ϕ(x, y, R)
- 推理时更简单、成本更低，但不再能观察到每个 item 的贡献