myWiki/concepts/clip.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
CLIP	2026-07-04	2026-07-04	concept	model multimodal vision-language openai	Radford et al., 2021

CLIP (Contrastive Language-Image Pre-training)

OpenAI 提出的双编码器视觉语言模型，通过大规模图文对对比学习训练，将图像和文本对齐到共享嵌入空间。

架构

• 视觉编码器：ViT 或 ResNet，输出单位嵌入
• 文本编码器：Transformer，输出单位嵌入
• 训练目标：对比损失（contrastive loss），最大化匹配图文对的相似度，最小化不匹配对的相似度

关键影响

CLIP 使 VLM 成为基础视觉组件，支持：

• open-vocabulary-recognition（zero-shot classification）
• 图文检索、检测、分割、VQA
• 嵌入空间的语义可解释性（相似度反映语义关联）

变体与后代

• ViT-B/32、ViT-L/14 等不同视觉骨干
• BLIP、ALIGN、SigLIP 等后续模型

参考

• vision-language-models
• dual-encoder-vlm
• cosine-similarity-geometry
• semantic-robustness-certification-vlm-2026（以 CLIP ViT-B/32 实验）
• contrastive-learning