---
title: "CLIP"
created: 2026-07-04
updated: 2026-07-04
type: concept
tags: [model, multimodal, vision-language, openai]
sources: ["Radford et al., 2021"]
---

# CLIP (Contrastive Language-Image Pre-training)

OpenAI 提出的双编码器视觉语言模型，通过大规模图文对对比学习训练，将图像和文本对齐到共享嵌入空间。

## 架构

- 视觉编码器：ViT 或 ResNet，输出单位嵌入
- 文本编码器：Transformer，输出单位嵌入
- 训练目标：对比损失（contrastive loss），最大化匹配图文对的相似度，最小化不匹配对的相似度

## 关键影响

CLIP 使 VLM 成为基础视觉组件，支持：
- [[open-vocabulary-recognition|开放词表识别]]（zero-shot classification）
- 图文检索、检测、分割、VQA
- 嵌入空间的语义可解释性（相似度反映语义关联）

## 变体与后代

- ViT-B/32、ViT-L/14 等不同视觉骨干
- BLIP、ALIGN、SigLIP 等后续模型

## 参考

- [[vision-language-models|VLM]]
- [[dual-encoder-vlm|双编码器 VLM]]
- [[cosine-similarity-geometry|余弦相似度几何]]
- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification (ICML 2026)]]（以 CLIP ViT-B/32 实验）
- [[contrastive-learning|对比学习]]