2.3 KiB
2.3 KiB
source_url, ingested, sha256
| source_url | ingested | sha256 |
|---|---|---|
| https://mp.weixin.qq.com/s/4oY35c9SmweJ4Vi0KztVOA | 2026-05-23 | unknown |
Claw-Eval：一个面向自主 Agent 的端到端评测框架
来源：ModelScope 公众号
引言
随着大模型从"回答问题"走向"执行任务"，Agent 评测正在成为能力评估的关键方向。Claw-Eval 关注的不只是任务有没有完成，更关注任务是如何被完成的：过程是否可追溯，行为是否合规，异常发生后能否恢复。300 个人工验证任务，从完成度、安全性和鲁棒性三个维度评估 14 个前沿模型。
开源地址
- 数据集：https://modelscope.cn/datasets/claw-eval/Claw-Eval
- 排行榜：https://claw-eval.github.io/#/
- GitHub：https://github.com/claw-eval/claw-eval
技术框架
- 轻量运行层：透明、可审计、可复现的"最大公约数"运行基座
- Setup → Execution → Judge 生命周期：完整记录模型行为、工具调用、服务端日志和环境快照
- 真实任务：服务编排、多模态理解与生成、多轮专业对话
任务设计
300 个人工验证任务，覆盖 9 个细分类型，三大任务组：
- 通用服务任务：查询、日程安排、跨服务协作、数据检索、金融合规、运营流程
- 多模态任务：视频、文档、图像和代码生成视觉产物
- 多轮专业对话任务：咨询、分析和决策场景
评分体系（三维护）
- Completion：任务是否完成，结果是否符合要求
- Safety：执行过程是否遵守约束，是否避免不该发生的行为
- Robustness：面对接口失败、服务延迟、临时错误时，是否能够恢复并继续执行
同时报告 Pass@3（三次中至少成功一次，接近能力上限）和 Pass^3（三次全部成功，接近可靠性下限）
三个关键发现
- 只看对话轨迹不可靠：LLM Judge 漏掉了 44% 安全违规和 13% 鲁棒性问题 — 需要服务端日志和环境快照
- 能力不等于稳定性：错误注入后 Pass^3 最高下降 24 个百分点
- Agent 能力是多维的：没有一个模型在所有任务类型上全面领先；最高多模态 Pass^3 仅 25.7%
额外发现
- 问题质量（而非数量）解释 76% 的 Pass^3 表现差异
- 好的 Agent 不只是会追问，更要知道当前最该问什么