39 lines
1.2 KiB
Markdown
39 lines
1.2 KiB
Markdown
---
|
||
title: "CLIP"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: concept
|
||
tags: [model, multimodal, vision-language, openai]
|
||
sources: ["Radford et al., 2021"]
|
||
---
|
||
|
||
# CLIP (Contrastive Language-Image Pre-training)
|
||
|
||
OpenAI 提出的双编码器视觉语言模型，通过大规模图文对对比学习训练，将图像和文本对齐到共享嵌入空间。
|
||
|
||
## 架构
|
||
|
||
- 视觉编码器：ViT 或 ResNet，输出单位嵌入
|
||
- 文本编码器：Transformer，输出单位嵌入
|
||
- 训练目标：对比损失（contrastive loss），最大化匹配图文对的相似度，最小化不匹配对的相似度
|
||
|
||
## 关键影响
|
||
|
||
CLIP 使 VLM 成为基础视觉组件，支持：
|
||
- [[open-vocabulary-recognition|开放词表识别]]（zero-shot classification）
|
||
- 图文检索、检测、分割、VQA
|
||
- 嵌入空间的语义可解释性（相似度反映语义关联）
|
||
|
||
## 变体与后代
|
||
|
||
- ViT-B/32、ViT-L/14 等不同视觉骨干
|
||
- BLIP、ALIGN、SigLIP 等后续模型
|
||
|
||
## 参考
|
||
|
||
- [[vision-language-models|VLM]]
|
||
- [[dual-encoder-vlm|双编码器 VLM]]
|
||
- [[cosine-similarity-geometry|余弦相似度几何]]
|
||
- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification (ICML 2026)]]（以 CLIP ViT-B/32 实验）
|
||
- [[contrastive-learning|对比学习]]
|