43 lines
1.4 KiB
Markdown
43 lines
1.4 KiB
Markdown
---
|
||
title: "评估器质量指标（Evaluator Metrics）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [evaluation, metrics, rft, rl, benchmarking]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# 评估器质量指标
|
||
|
||
衡量 [[agent-evaluator|Agent 评估器]] 与 ground-truth（单元测试分数）对齐程度的多维度指标框架。
|
||
|
||
## 指标体系
|
||
|
||
| 指标 | 衡量什么 | 使用场景 |
|
||
|------|---------|---------|
|
||
| **BoN Accuracy** | 评估器能否从候选池中选出最佳样本 | RFT（小候选池） |
|
||
| **Regret** | 次优选择的质量损失 | 联合评估 |
|
||
| **Kendall's τ** | 全分数范围的排名一致性 | RL（需要细粒度梯度） |
|
||
| **Pearson r / Spearman ρ** | 宏观平均相关性 | 综合评估 |
|
||
| **Threshold-Conditioned UT Score** | 过滤后样本的平均质量 | RFT（大候选池） |
|
||
|
||
## 指标冲突
|
||
|
||
**排名能力 ≠ 过滤质量**：
|
||
- Qwen 3.7 Plus BoN-Acc (67.3%) > DeepSeek V4 Pro (54.5%)
|
||
- 但 DeepSeek 的 θ≥8 条件下 UT score (0.611) > Qwen (0.595)
|
||
|
||
## 训练目标与指标映射
|
||
|
||
| 训练目标 | 关键指标 | 关注点 |
|
||
|---------|---------|--------|
|
||
| RFT（候选充足） | Threshold-Conditioned UT Score | 低 false positive |
|
||
| RFT（候选有限） | UT Score + retained count | 平衡 FP/FN |
|
||
| RL | Kendall τ + score discrimination | 细粒度梯度 |
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[agent-evaluator|Agent 评估器]]
|