45 lines
1.5 KiB
Markdown
45 lines
1.5 KiB
Markdown
---
|
||
title: "MMEVOKE"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["benchmark", "multimodal", "knowledge-injection"]
|
||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||
---
|
||
|
||
# MMEVOKE
|
||
|
||
## 定义
|
||
|
||
MMEVOKE 是首个**多模态进化知识注入基准**，由 ICLR 2026 论文 "When Large Multimodal Models Confront Evolving Knowledge" 提出。
|
||
|
||
## 关键统计
|
||
|
||
| 指标 | 数值 |
|
||
|------|------|
|
||
| 总样本数 | 9,422 |
|
||
| 细粒度子领域 | 159（News 29 + Entity 130） |
|
||
| 进化知识来源 | CNN（新闻）+ Wikipedia（实体） |
|
||
| 图像数 | 18,834（注入 9,422 + 评估 9,412） |
|
||
| News vs Entity | 47.7% vs 52.3% |
|
||
|
||
## 数据构建流程
|
||
|
||
1. **知识收集**：从 CNN robots.txt 提取 URL（News）；对比 Wikipedia 不同时间点版本识别新条目（Entity）
|
||
2. **内容总结**：GPT-4o 对长文本摘要
|
||
3. **VQA 生成**：GPT-4o 提取 VQA 对 + 核心对象 + 上位词；Google 搜索 + CLIP 聚类清洗图像
|
||
4. **人工筛选**：每条约 10 秒人工审核，确保高质量
|
||
|
||
## 自进化特性
|
||
|
||
MMEVOKE 的构建流程最小化人工参与，仅人工筛选步骤未自动化。通过前端网页加速人工筛选，**每季度更新一次**。
|
||
|
||
## 领域分布
|
||
|
||
涵盖政治、商业、科技、体育、健康、娱乐等广泛领域，实体部分包含 130 个子领域。
|
||
|
||
## 参见
|
||
|
||
- [[evolving-knowledge-injection|进化知识注入]]
|
||
- [[self-evolving-benchmark|自进化基准]]
|
||
- [[when-large-multimodal-models-confront-evolving-knowledge|论文主页]]
|