1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Vision-Language Models (VLM) | 2026-07-04 | 2026-07-04 | concept |
|
Vision-Language Models (VLM)
视觉语言模型将图像和文本映射到共享嵌入空间，实现视觉与语言的直接对比匹配，支持开放词表推理。
核心架构
典型的双编码器 VLM（如 CLIP）：
- 视觉编码器 $f_{\text{img}}$：将图像
x映射到单位嵌入z = f_{\text{img}}(x) \in S^{d-1} - 文本编码器 $f_{\text{text}}$：将类别提示
t_c映射到单位嵌入u_c = f_{\text{text}}(t_c) \in S^{d-1} - 分类规则：$f(z) = \arg\max_{c} \langle z, u_c \rangle$（等价于余弦相似度，因为所有嵌入在单位球上）
关键特性
- 开放词表能力：文本 prompt 可直接指定语义类别，无需预定义标签集
- 共享嵌入几何：图像与文本在同一空间中由余弦相似度定义相似性
- 语义编码：对比学习使嵌入空间编码了丰富的语义结构