myWiki/concepts/llm-as-a-judge.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
LLM-as-a-Judge	2026-06-27	2026-06-27	concept	evaluation llm judge	rubrics-survey-2026

LLM-as-a-Judge

定义

LLM-as-a-Judge 指使用 LLM 作为评估者来评分、比较或判断其他模型的输出 (Gu et al., 2024, 2025; Zheng et al., 2023)。这是 LLM 评估中的一个重要范式，与使用人类评估者或程序化验证形成对比。

与 Rubrics 的关系

• LLM-as-a-Judge = 谁来评估（the evaluator）
• rubrics-for-llms = 评估什么标准（the evaluation standard）

LLM judge 可以不使用 rubric（直接给总分），也可以遵循 rubric 逐项打分。后者通常更有信息量——不仅给出总分，还指出输出在哪些维度成功或失败。

对比

维度	LLM-as-a-Judge	Rubrics
角色	评估者	评估标准
可解释性	低（隐式标准）	高（显式 item）
灵活性	高	结构化
一致性问题	不稳定的判断	稳定的框架

参考

• rubrics-for-llms
• rubrics-survey-2026
• rubric-driven-evaluation