34 lines
1.3 KiB
Markdown
34 lines
1.3 KiB
Markdown
---
|
||
title: "Vision-Language Models (VLM)"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: concept
|
||
tags: [multimodal, vision, language, embedding, foundation-model]
|
||
sources: []
|
||
---
|
||
|
||
# Vision-Language Models (VLM)
|
||
|
||
视觉语言模型将图像和文本映射到共享嵌入空间，实现视觉与语言的直接对比匹配，支持开放词表推理。
|
||
|
||
## 核心架构
|
||
|
||
典型的双编码器 VLM（如 CLIP）：
|
||
- **视觉编码器** $f_{\text{img}}$：将图像 $x$ 映射到单位嵌入 $z = f_{\text{img}}(x) \in S^{d-1}$
|
||
- **文本编码器** $f_{\text{text}}$：将类别提示 $t_c$ 映射到单位嵌入 $u_c = f_{\text{text}}(t_c) \in S^{d-1}$
|
||
- **分类规则**：$f(z) = \arg\max_{c} \langle z, u_c \rangle$（等价于余弦相似度，因为所有嵌入在单位球上）
|
||
|
||
## 关键特性
|
||
|
||
- **开放词表能力**：文本 prompt 可直接指定语义类别，无需预定义标签集
|
||
- **共享嵌入几何**：图像与文本在同一空间中由余弦相似度定义相似性
|
||
- **语义编码**：对比学习使嵌入空间编码了丰富的语义结构
|
||
|
||
## 参考
|
||
|
||
- [[clip|CLIP]]
|
||
- [[dual-encoder-vlm|双编码器 VLM]]
|
||
- [[cosine-similarity-geometry|余弦相似度几何]]
|
||
- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification (ICML 2026)]]
|
||
- [[open-vocabulary-recognition|开放词表识别]]
|