---
title: "Pareto 前沿评测 (Pareto Frontier Evaluation)"
created: 2026-06-15
updated: 2026-06-15
type: concept
tags: [benchmark, evaluation, cost]
sources: [raw/papers/zheng-claw-swe-bench-2026.md]
---

# Pareto 前沿评测 (Pareto Frontier Evaluation)

## 定义

Pareto 前沿评测将 agent 系统置于 **准确率-代价** 二维平面上，通过 Pareto 前沿（连接所有非支配操作点的曲线）识别在多目标下最优的系统组合。一个操作点被支配，当存在另一个操作点同时在准确率上不差且代价上更低。

## Claw-SWE-Bench 中的应用

在五 claw × 双模型的 350-instance 扫掠中，每个点代表一个 claw-model 组合在完整评估上的 Pass@1 与总 API 代价。Pareto 前沿揭示了：

- **准确率和代价不共线**——更高准确率不一定意味着更高代价
- OpenClaw × DeepSeek-V4 Flash（70.3%, $8.2）和 OpenClaw × GLM 5.1（73.4%, $277）都在前沿附近但位置差异巨大
- 仅报告 Resolved Rate 会掩盖代价信息，可能误导 Leaderboard 解读

## Pareto 前沿 vs 单一指标

单一指标（如仅 Pass@1）的问题：
- 无法区分 "高准确率高代价" 和 "略低准确率极低代价" 的系统
- 对资源受限的研究者（小团队、学术组）不友好
- 无法回答 "这个准确率提升值多少钱？"

## 参考
- [[claw-swe-bench|Claw-SWE-Bench 论文]]
- [[cost-aware-benchmarking|代价感知基准评测]]