20260706:新增一些文章

concepts/rubric-aggregation.md

@@ -0,0 +1,45 @@
+---
+title: "Rubric Aggregation"
+created: 2026-06-27
+updated: 2026-06-27
+type: concept
+tags:
+  - rubric
+  - evaluation
+  - scoring
+sources:
+  - "rubrics-survey-2026"
+---
+
+# Rubric Aggregation
+
+## 定义
+
+Rubric aggregation 指将多个 rubric item 的逐项评分**合并为单一总分**的方法。这是 rubric 评估流水线中 form item scores → overall score 的关键步骤。
+
+## 三类聚合策略
+
+### 1. 直接平均/求和 (Direct Averaging/Summation)
+所有 rubric items 等权重，直接加总或平均：
+- S_avg = (1/k) Σ cⱼ
+- S_sum = Σ cⱼ
+- 最简单透明，适用于所有 items 同等重要时
+
+### 2. 加权求和 (Weighted Summation)
+不同 items 赋予不同权重：
+- S_R = Σ wⱼcⱼ / Σ wⱼ
+- 允许关键维度（如 safety、task completion）权重更高
+- 最灵活，但是权重设计本身成为新的设计挑战
+
+### 3. 隐式聚合 (Implicit Aggregation)
+将完整 rubric + 模型输出直接交给 judge model，让它隐式输出总分：
+- S_imp = f_ϕ(x, y, R)
+- 推理时更简单、成本更低，但不再能观察到每个 item 的贡献
+
+### 本文主要聚焦显式聚合（加权求和/直接平均），因为可检查、可分析。
+
+## 参考
+
+- [[rubrics-for-llms|Rubrics for LLMs]]
+- [[rubrics-survey-2026|Rubrics Survey (2026)]]
+- [[rubric-driven-evaluation]]