---
title: "多模态 RAG (Multimodal RAG)"
created: 2026-05-21
type: concept
tags: ["rag", "multimodal", "retrieval"]
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
---

# 多模态 RAG (Multimodal RAG)

## 定义

多模态 RAG（MM-RAG）将[[rag|检索增强生成]]扩展到多模态场景，通过检索外部多模态知识来增强 LMM 的知识密集型任务表现。

## 三种检索策略

| 策略 | 检索依据 | LLaVA-v1.5 CEM | Qwen-VL-Chat CEM |
|------|---------|---------------|-----------------|
| Text-Only | 仅文本特征 | 24.05% | 21.79% |
| Image-Only | 仅视觉特征 | 25.25% | 22.31% |
| UniIR | 多模态特征融合 | **40.68%** | **32.75%** |

## 关键发现

1. MM-RAG 优于 SFT（Full-FT/LoRA），但最高仅 40.68% CEM——**远未达到理想水平**
2. UniIR 融合多模态特征检索显著优于单模态检索
3. 即使提供了充分上下文（Sufficient Context），模型仍不能完美回答——揭示了**利用能力**而非**检索能力**是瓶颈

## 参见

- [[rag|RAG]]
- [[sufficient-context-paradox|充分上下文悖论]]
- [[evolving-knowledge-injection|进化知识注入]]