1.2 KiB
1.2 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||
|---|---|---|---|---|---|---|---|---|
| 双编码器 VLM (Dual-Encoder VLM) | 2026-07-04 | 2026-07-04 | concept |
|
双编码器 VLM (Dual-Encoder VLM)
使用独立视觉编码器和文本编码器将图像和文本分别映射到共享嵌入空间，然后通过余弦相似度进行匹配的视觉语言模型架构。
数学表述
- 图像
x经视觉编码器f_{\text{img}}→ 单位嵌入z \in S^{d-1} - 文本
t经文本编码器f_{\text{text}}→ 单位嵌入u \in S^{d-1} - 分类：
f(z) = \arg\max_c \langle z, u_c \rangle
与融合型 VLM 的对比
- 双编码器：嵌入独立计算，可预先缓存文本嵌入，检索效率高
- 融合型（如 LLaVA、Flamingo）：视觉和文本在 Transformer 中交叉注意力，能力更强但计算成本高
对鲁棒性认证的意义
双编码器的分类器是闭式的（cosine similarity → Voronoi cells），决策边界可解析刻画，这使得 semantic-robustness-certification 中的闭式分析成为可能。