20260706:新增一些文章

concepts/llm-as-a-judge.md

@@ -0,0 +1,40 @@
+---
+title: "LLM-as-a-Judge"
+created: 2026-06-27
+updated: 2026-06-27
+type: concept
+tags:
+  - evaluation
+  - llm
+  - judge
+sources:
+  - "rubrics-survey-2026"
+---
+
+# LLM-as-a-Judge
+
+## 定义
+
+LLM-as-a-Judge 指使用 LLM 作为评估者来评分、比较或判断其他模型的输出 (Gu et al., 2024, 2025; Zheng et al., 2023)。这是 LLM 评估中的一个重要范式，与使用人类评估者或程序化验证形成对比。
+
+## 与 Rubrics 的关系
+
+- LLM-as-a-Judge = **谁来评估**（the evaluator）
+- [[rubrics-for-llms|Rubrics]] = **评估什么标准**（the evaluation standard）
+
+LLM judge 可以不使用 rubric（直接给总分），也可以遵循 rubric 逐项打分。后者通常更有信息量——不仅给出总分，还指出输出在哪些维度成功或失败。
+
+## 对比
+
+| 维度 | LLM-as-a-Judge | Rubrics |
+|------|---------------|---------|
+| 角色 | 评估者 | 评估标准 |
+| 可解释性 | 低（隐式标准） | 高（显式 item） |
+| 灵活性 | 高 | 结构化 |
+| 一致性问题 | 不稳定的判断 | 稳定的框架 |
+
+## 参考
+
+- [[rubrics-for-llms|Rubrics for LLMs]]
+- [[rubrics-survey-2026|Rubrics Survey (2026)]]
+- [[rubric-driven-evaluation]]