20260706:新增一些文章

concepts/vision-language-models.md

@@ -0,0 +1,33 @@
+---
+title: "Vision-Language Models (VLM)"
+created: 2026-07-04
+updated: 2026-07-04
+type: concept
+tags: [multimodal, vision, language, embedding, foundation-model]
+sources: []
+---
+
+# Vision-Language Models (VLM)
+
+视觉语言模型将图像和文本映射到共享嵌入空间，实现视觉与语言的直接对比匹配，支持开放词表推理。
+
+## 核心架构
+
+典型的双编码器 VLM（如 CLIP）：
+- **视觉编码器** $f_{\text{img}}$：将图像 $x$ 映射到单位嵌入 $z = f_{\text{img}}(x) \in S^{d-1}$
+- **文本编码器** $f_{\text{text}}$：将类别提示 $t_c$ 映射到单位嵌入 $u_c = f_{\text{text}}(t_c) \in S^{d-1}$
+- **分类规则**：$f(z) = \arg\max_{c} \langle z, u_c \rangle$（等价于余弦相似度，因为所有嵌入在单位球上）
+
+## 关键特性
+
+- **开放词表能力**：文本 prompt 可直接指定语义类别，无需预定义标签集
+- **共享嵌入几何**：图像与文本在同一空间中由余弦相似度定义相似性
+- **语义编码**：对比学习使嵌入空间编码了丰富的语义结构
+
+## 参考
+
+- [[clip|CLIP]]
+- [[dual-encoder-vlm|双编码器 VLM]]
+- [[cosine-similarity-geometry|余弦相似度几何]]
+- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification (ICML 2026)]]
+- [[open-vocabulary-recognition|开放词表识别]]