55 lines
2.0 KiB
Markdown
55 lines
2.0 KiB
Markdown
---
|
||
title: "Claw-SWE-Bench Lite"
|
||
created: 2026-06-15
|
||
updated: 2026-06-15
|
||
type: concept
|
||
tags: [benchmark, evaluation, coding-agent]
|
||
sources: [raw/papers/zheng-claw-swe-bench-2026.md]
|
||
---
|
||
|
||
# Claw-SWE-Bench Lite
|
||
|
||
## 定义
|
||
|
||
Claw-SWE-Bench Lite 是完整 350-instance benchmark 的 **80-instance 低代价子集**，设计为开发迭代的快速反馈环——adapter 调试、prompt 修改、模型替换、回归测试——在返回 full-350 进行最终报告之前。
|
||
|
||
## 设计原则
|
||
|
||
Lite 不是简单的随机采样或便利展示样本。它是**通过代价感知、排序感知的优化过程，拟合 full-350 的行为**选取的。
|
||
|
||
## 构成
|
||
|
||
- 每语言 10 个实例 × 8 语言 = 80 个实例
|
||
- 70 个非 Python（来自 SWE-bench-Multilingual）+ 10 个 Python（来自 SWE-bench-Verified-Mini）
|
||
- 语言内固定难度四分位配额：Q1/Q2/Q3/Q4 = 2/3/3/2
|
||
- 覆盖 full-350 43 个仓库中的 34 个（79%）
|
||
|
||
## 选择方法
|
||
|
||
基于 17 列校准数据（9 个 OpenClaw 模型列 + 8 个跨 claw 列），优化三项指标：
|
||
|
||
1. **Resolve-Rate Parity:** 最小化 Lite 估计率与 full-350 真实率之间的 L1 差异
|
||
2. **Pairwise Ranking Hinge:** 惩罚 Lite 反转 full-350 的排序
|
||
3. **Cost Parity:** 最小化 log-cost 差异，防止选取异常便宜或昂贵的实例
|
||
|
||
使用 per-language 200-restart within-quartile 1-swap 局部搜索。
|
||
|
||
## 验证结果
|
||
|
||
- Full-350 平均 Pass@1: 0.639 / Lite-80: 0.643（差异 +0.4 pp）
|
||
- 跨 claw 验证 (5 claws × 2 models)：平均绝对差异 1.88 pp，最大 3.68 pp
|
||
- Lite 运行代价约为 full 的 **22.9%**（按 token/cost/time 均在 22-24%）
|
||
|
||
## K-sweep 敏感性
|
||
|
||
Lite 的 80-instance 规模来自显式的 K-sweep 而非方便数字：
|
||
- K=8: 2 个场景通过
|
||
- K=9: 3 个场景需要
|
||
- K=10: 4 个结构扰动场景需要
|
||
- 发布保守稳定点 K=10
|
||
|
||
## 参考
|
||
- [[claw-swe-bench|Claw-SWE-Bench 论文]]
|
||
- [[cost-aware-benchmarking|代价感知基准评测]]
|
||
- [[pareto-frontier-evaluation|Pareto 前沿评测]]
|