Files
myWiki/concepts/mcp-tools-dataset.md

1.4 KiB
Raw Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
MCP-tools 数据集 2026-06-19 2026-06-19 concept
dataset
mcp
tool-discovery
benchmark
evaluation
https://arxiv.org/abs/2506.01056

MCP-tools 数据集

定义

MCP-tools 是 MCP-Zero 论文构建的首个面向检索的工具发现数据集,从官方 Model Context Protocol 仓库收集了 308 个 MCP server 和 2,797 个 tool。

与其他 MCP 数据集的区别

MCPBench MCP-tools
关注点 Server 可用性、延迟测试 语义工具发现和检索
目标 基础设施评估 Agent 工具发现能力评估

数据结构

{
  "server_name": "string",
  "server_description": "string",
  "server_summary": "string",  // MCP-Zero 增强摘要
  "tools": [
    {
      "name": "string",
      "description": "string",
      "parameter": {
        "param1": "(type) description",
        "param2": "(Optional, type) description"
      }
    }
  ]
}

增强摘要

MCP-Zero 为每个 server 构建了增强摘要——包含综合使用示例——用于提升 server 级语义匹配精度。对比仅用原始描述(通常只有一句话)有显著改善。

关键指标

  • 308 servers × 2,797 tools
  • 全量 tool schema 约 248.1K tokens
  • 单个 GitHub MCP server4,600+ tokens26 tools

参考