1.5 KiB
1.5 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|
| MMEVOKE | 2026-05-21 | concept |
|
|
MMEVOKE
定义
MMEVOKE 是首个多模态进化知识注入基准，由 ICLR 2026 论文 "When Large Multimodal Models Confront Evolving Knowledge" 提出。
关键统计
| 指标 | 数值 |
|---|---|
| 总样本数 | 9,422 |
| 细粒度子领域 | 159（News 29 + Entity 130） |
| 进化知识来源 | CNN（新闻）+ Wikipedia（实体） |
| 图像数 | 18,834（注入 9,422 + 评估 9,412） |
| News vs Entity | 47.7% vs 52.3% |
数据构建流程
- 知识收集：从 CNN robots.txt 提取 URL（News）；对比 Wikipedia 不同时间点版本识别新条目（Entity）
- 内容总结：GPT-4o 对长文本摘要
- VQA 生成：GPT-4o 提取 VQA 对 + 核心对象 + 上位词；Google 搜索 + CLIP 聚类清洗图像
- 人工筛选：每条约 10 秒人工审核，确保高质量
自进化特性
MMEVOKE 的构建流程最小化人工参与，仅人工筛选步骤未自动化。通过前端网页加速人工筛选，每季度更新一次。
领域分布
涵盖政治、商业、科技、体育、健康、娱乐等广泛领域，实体部分包含 130 个子领域。