20260706:新增一些文章

concepts/clip.md

@@ -0,0 +1,38 @@
+---
+title: "CLIP"
+created: 2026-07-04
+updated: 2026-07-04
+type: concept
+tags: [model, multimodal, vision-language, openai]
+sources: ["Radford et al., 2021"]
+---
+
+# CLIP (Contrastive Language-Image Pre-training)
+
+OpenAI 提出的双编码器视觉语言模型，通过大规模图文对对比学习训练，将图像和文本对齐到共享嵌入空间。
+
+## 架构
+
+- 视觉编码器：ViT 或 ResNet，输出单位嵌入
+- 文本编码器：Transformer，输出单位嵌入
+- 训练目标：对比损失（contrastive loss），最大化匹配图文对的相似度，最小化不匹配对的相似度
+
+## 关键影响
+
+CLIP 使 VLM 成为基础视觉组件，支持：
+- [[open-vocabulary-recognition|开放词表识别]]（zero-shot classification）
+- 图文检索、检测、分割、VQA
+- 嵌入空间的语义可解释性（相似度反映语义关联）
+
+## 变体与后代
+
+- ViT-B/32、ViT-L/14 等不同视觉骨干
+- BLIP、ALIGN、SigLIP 等后续模型
+
+## 参考
+
+- [[vision-language-models|VLM]]
+- [[dual-encoder-vlm|双编码器 VLM]]
+- [[cosine-similarity-geometry|余弦相似度几何]]
+- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification (ICML 2026)]]（以 CLIP ViT-B/32 实验）
+- [[contrastive-learning|对比学习]]