41 lines
1.2 KiB
Markdown
41 lines
1.2 KiB
Markdown
---
|
||
title: "LLM-as-a-Judge"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: concept
|
||
tags:
|
||
- evaluation
|
||
- llm
|
||
- judge
|
||
sources:
|
||
- "rubrics-survey-2026"
|
||
---
|
||
|
||
# LLM-as-a-Judge
|
||
|
||
## 定义
|
||
|
||
LLM-as-a-Judge 指使用 LLM 作为评估者来评分、比较或判断其他模型的输出 (Gu et al., 2024, 2025; Zheng et al., 2023)。这是 LLM 评估中的一个重要范式，与使用人类评估者或程序化验证形成对比。
|
||
|
||
## 与 Rubrics 的关系
|
||
|
||
- LLM-as-a-Judge = **谁来评估**（the evaluator）
|
||
- [[rubrics-for-llms|Rubrics]] = **评估什么标准**（the evaluation standard）
|
||
|
||
LLM judge 可以不使用 rubric（直接给总分），也可以遵循 rubric 逐项打分。后者通常更有信息量——不仅给出总分，还指出输出在哪些维度成功或失败。
|
||
|
||
## 对比
|
||
|
||
| 维度 | LLM-as-a-Judge | Rubrics |
|
||
|------|---------------|---------|
|
||
| 角色 | 评估者 | 评估标准 |
|
||
| 可解释性 | 低（隐式标准） | 高（显式 item） |
|
||
| 灵活性 | 高 | 结构化 |
|
||
| 一致性问题 | 不稳定的判断 | 稳定的框架 |
|
||
|
||
## 参考
|
||
|
||
- [[rubrics-for-llms|Rubrics for LLMs]]
|
||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||
- [[rubric-driven-evaluation]]
|