---
title: "Vision-Language Models (VLM)"
created: 2026-07-04
updated: 2026-07-04
type: concept
tags: [multimodal, vision, language, embedding, foundation-model]
sources: []
---

# Vision-Language Models (VLM)

视觉语言模型将图像和文本映射到共享嵌入空间，实现视觉与语言的直接对比匹配，支持开放词表推理。

## 核心架构

典型的双编码器 VLM（如 CLIP）：
- **视觉编码器** $f_{\text{img}}$：将图像 $x$ 映射到单位嵌入 $z = f_{\text{img}}(x) \in S^{d-1}$
- **文本编码器** $f_{\text{text}}$：将类别提示 $t_c$ 映射到单位嵌入 $u_c = f_{\text{text}}(t_c) \in S^{d-1}$
- **分类规则**：$f(z) = \arg\max_{c} \langle z, u_c \rangle$（等价于余弦相似度，因为所有嵌入在单位球上）

## 关键特性

- **开放词表能力**：文本 prompt 可直接指定语义类别，无需预定义标签集
- **共享嵌入几何**：图像与文本在同一空间中由余弦相似度定义相似性
- **语义编码**：对比学习使嵌入空间编码了丰富的语义结构

## 参考

- [[clip|CLIP]]
- [[dual-encoder-vlm|双编码器 VLM]]
- [[cosine-similarity-geometry|余弦相似度几何]]
- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification (ICML 2026)]]
- [[open-vocabulary-recognition|开放词表识别]]