--- title: "MMEVOKE" created: 2026-05-21 type: concept tags: ["benchmark", "multimodal", "knowledge-injection"] sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"] --- # MMEVOKE ## 定义 MMEVOKE 是首个**多模态进化知识注入基准**,由 ICLR 2026 论文 "When Large Multimodal Models Confront Evolving Knowledge" 提出。 ## 关键统计 | 指标 | 数值 | |------|------| | 总样本数 | 9,422 | | 细粒度子领域 | 159(News 29 + Entity 130) | | 进化知识来源 | CNN(新闻)+ Wikipedia(实体) | | 图像数 | 18,834(注入 9,422 + 评估 9,412) | | News vs Entity | 47.7% vs 52.3% | ## 数据构建流程 1. **知识收集**:从 CNN robots.txt 提取 URL(News);对比 Wikipedia 不同时间点版本识别新条目(Entity) 2. **内容总结**:GPT-4o 对长文本摘要 3. **VQA 生成**:GPT-4o 提取 VQA 对 + 核心对象 + 上位词;Google 搜索 + CLIP 聚类清洗图像 4. **人工筛选**:每条约 10 秒人工审核,确保高质量 ## 自进化特性 MMEVOKE 的构建流程最小化人工参与,仅人工筛选步骤未自动化。通过前端网页加速人工筛选,**每季度更新一次**。 ## 领域分布 涵盖政治、商业、科技、体育、健康、娱乐等广泛领域,实体部分包含 130 个子领域。 ## 参见 - [[evolving-knowledge-injection|进化知识注入]] - [[self-evolving-benchmark|自进化基准]] - [[when-large-multimodal-models-confront-evolving-knowledge|论文主页]]