42 lines
1.3 KiB
Markdown
42 lines
1.3 KiB
Markdown
---
|
||
title: "量规评估（Rubric-Based Evaluation）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [evaluation, rubric, judge, frontend]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# 量规评估（Rubric-Based Evaluation）
|
||
|
||
将整体评估分解为细粒度评分维度的结构化评估方法，减少 model-based judge 的主观偏差和不一致性。
|
||
|
||
## 论文中的设计
|
||
|
||
Qwen Team 的前端评估 rubric 将评估分解为 6 个维度，平均每任务 25.9 个 checklist 条目：
|
||
|
||
| 维度 | 占比 |
|
||
|------|:---:|
|
||
| Functional（功能正确性） | 37.7% |
|
||
| Content（内容完整性） | 19.0% |
|
||
| Visual（视觉质量） | 13.3% |
|
||
| Layout（布局） | 12.9% |
|
||
| UX（用户体验） | 9.3% |
|
||
| Technical（技术质量） | 7.2% |
|
||
|
||
## 效果验证
|
||
|
||
- **Judge-Model 排名一致性**：跨 scorer 家族 Kendall τ ≥ 0.93
|
||
- **Prompt 变体鲁棒**：改变 strictness、thinking level 不改变排名
|
||
- **人机对齐**：Spearman ρ = 0.81-0.91
|
||
|
||
## 局限
|
||
|
||
静态评估无法覆盖需要运行时行为的场景（表单验证、动态路由、多页导航），这推动了 [[interactive-judge|交互式判断器]] 的发展。
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[interactive-judge|交互式判断器]]
|