1.2 KiB
1.2 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| CLIP | 2026-07-04 | 2026-07-04 | concept |
|
|
CLIP (Contrastive Language-Image Pre-training)
OpenAI 提出的双编码器视觉语言模型，通过大规模图文对对比学习训练，将图像和文本对齐到共享嵌入空间。
架构
- 视觉编码器：ViT 或 ResNet，输出单位嵌入
- 文本编码器：Transformer，输出单位嵌入
- 训练目标：对比损失（contrastive loss），最大化匹配图文对的相似度，最小化不匹配对的相似度
关键影响
CLIP 使 VLM 成为基础视觉组件，支持：
- open-vocabulary-recognition（zero-shot classification）
- 图文检索、检测、分割、VQA
- 嵌入空间的语义可解释性（相似度反映语义关联）
变体与后代
- ViT-B/32、ViT-L/14 等不同视觉骨干
- BLIP、ALIGN、SigLIP 等后续模型