myWiki/concepts/evaluator-metrics.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
评估器质量指标（Evaluator Metrics）	2026-07-02	2026-07-02	concept	evaluation metrics rft rl benchmarking	verification-horizon-no-silver-bullet

评估器质量指标

衡量 agent-evaluator 与 ground-truth（单元测试分数）对齐程度的多维度指标框架。

指标体系

指标	衡量什么	使用场景
BoN Accuracy	评估器能否从候选池中选出最佳样本	RFT（小候选池）
Regret	次优选择的质量损失	联合评估
Kendall's τ	全分数范围的排名一致性	RL（需要细粒度梯度）
Pearson r / Spearman ρ	宏观平均相关性	综合评估
Threshold-Conditioned UT Score	过滤后样本的平均质量	RFT（大候选池）

指标冲突

排名能力 ≠ 过滤质量：

• Qwen 3.7 Plus BoN-Acc (67.3%) > DeepSeek V4 Pro (54.5%)
• 但 DeepSeek 的 θ≥8 条件下 UT score (0.611) > Qwen (0.595)

训练目标与指标映射

训练目标	关键指标	关注点
RFT（候选充足）	Threshold-Conditioned UT Score	低 false positive
RFT（候选有限）	UT Score + retained count	平衡 FP/FN
RL	Kendall τ + score discrimination	细粒度梯度

参考

• verification-horizon-no-silver-bullet
• agent-evaluator