1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 量规评估（Rubric-Based Evaluation） | 2026-07-02 | 2026-07-02 | concept |
|
|
量规评估（Rubric-Based Evaluation）
将整体评估分解为细粒度评分维度的结构化评估方法，减少 model-based judge 的主观偏差和不一致性。
论文中的设计
Qwen Team 的前端评估 rubric 将评估分解为 6 个维度，平均每任务 25.9 个 checklist 条目：
| 维度 | 占比 |
|---|---|
| Functional（功能正确性） | 37.7% |
| Content（内容完整性） | 19.0% |
| Visual（视觉质量） | 13.3% |
| Layout（布局） | 12.9% |
| UX（用户体验） | 9.3% |
| Technical（技术质量） | 7.2% |
效果验证
- Judge-Model 排名一致性：跨 scorer 家族 Kendall τ ≥ 0.93
- Prompt 变体鲁棒：改变 strictness、thinking level 不改变排名
- 人机对齐：Spearman ρ = 0.81-0.91
局限
静态评估无法覆盖需要运行时行为的场景（表单验证、动态路由、多页导航），这推动了 interactive-judge 的发展。