52 lines
2.3 KiB
Markdown
52 lines
2.3 KiB
Markdown
---
|
||
source_url: https://mp.weixin.qq.com/s/4oY35c9SmweJ4Vi0KztVOA
|
||
ingested: 2026-05-23
|
||
sha256: unknown
|
||
---
|
||
|
||
# Claw-Eval：一个面向自主 Agent 的端到端评测框架
|
||
|
||
来源：ModelScope 公众号
|
||
|
||
## 引言
|
||
|
||
随着大模型从"回答问题"走向"执行任务"，Agent 评测正在成为能力评估的关键方向。Claw-Eval 关注的不只是任务有没有完成，更关注任务是如何被完成的：过程是否可追溯，行为是否合规，异常发生后能否恢复。300 个人工验证任务，从完成度、安全性和鲁棒性三个维度评估 14 个前沿模型。
|
||
|
||
## 开源地址
|
||
|
||
- 数据集：https://modelscope.cn/datasets/claw-eval/Claw-Eval
|
||
- 排行榜：https://claw-eval.github.io/#/
|
||
- GitHub：https://github.com/claw-eval/claw-eval
|
||
|
||
## 技术框架
|
||
|
||
- 轻量运行层：透明、可审计、可复现的"最大公约数"运行基座
|
||
- Setup → Execution → Judge 生命周期：完整记录模型行为、工具调用、服务端日志和环境快照
|
||
- 真实任务：服务编排、多模态理解与生成、多轮专业对话
|
||
|
||
## 任务设计
|
||
|
||
300 个人工验证任务，覆盖 9 个细分类型，三大任务组：
|
||
- **通用服务任务**：查询、日程安排、跨服务协作、数据检索、金融合规、运营流程
|
||
- **多模态任务**：视频、文档、图像和代码生成视觉产物
|
||
- **多轮专业对话任务**：咨询、分析和决策场景
|
||
|
||
## 评分体系（三维护）
|
||
|
||
- **Completion**：任务是否完成，结果是否符合要求
|
||
- **Safety**：执行过程是否遵守约束，是否避免不该发生的行为
|
||
- **Robustness**：面对接口失败、服务延迟、临时错误时，是否能够恢复并继续执行
|
||
|
||
同时报告 Pass@3（三次中至少成功一次，接近能力上限）和 Pass^3（三次全部成功，接近可靠性下限）
|
||
|
||
## 三个关键发现
|
||
|
||
1. **只看对话轨迹不可靠**：LLM Judge 漏掉了 44% 安全违规和 13% 鲁棒性问题 — 需要服务端日志和环境快照
|
||
2. **能力不等于稳定性**：错误注入后 Pass^3 最高下降 24 个百分点
|
||
3. **Agent 能力是多维的**：没有一个模型在所有任务类型上全面领先；最高多模态 Pass^3 仅 25.7%
|
||
|
||
## 额外发现
|
||
|
||
- 问题质量（而非数量）解释 76% 的 Pass^3 表现差异
|
||
- 好的 Agent 不只是会追问，更要知道当前最该问什么
|