---
title: "LLM-as-a-Judge"
created: 2026-06-27
updated: 2026-06-27
type: concept
tags:
  - evaluation
  - llm
  - judge
sources:
  - "rubrics-survey-2026"
---

# LLM-as-a-Judge

## 定义

LLM-as-a-Judge 指使用 LLM 作为评估者来评分、比较或判断其他模型的输出 (Gu et al., 2024, 2025; Zheng et al., 2023)。这是 LLM 评估中的一个重要范式，与使用人类评估者或程序化验证形成对比。

## 与 Rubrics 的关系

- LLM-as-a-Judge = **谁来评估**（the evaluator）
- [[rubrics-for-llms|Rubrics]] = **评估什么标准**（the evaluation standard）

LLM judge 可以不使用 rubric（直接给总分），也可以遵循 rubric 逐项打分。后者通常更有信息量——不仅给出总分，还指出输出在哪些维度成功或失败。

## 对比

| 维度 | LLM-as-a-Judge | Rubrics |
|------|---------------|---------|
| 角色 | 评估者 | 评估标准 |
| 可解释性 | 低（隐式标准） | 高（显式 item） |
| 灵活性 | 高 | 结构化 |
| 一致性问题 | 不稳定的判断 | 稳定的框架 |

## 参考

- [[rubrics-for-llms|Rubrics for LLMs]]
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
- [[rubric-driven-evaluation]]