29 lines
940 B
Markdown
29 lines
940 B
Markdown
---
|
||
title: "开放词表识别 (Open-Vocabulary Recognition)"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: concept
|
||
tags: [vision, classification, zero-shot, vlm]
|
||
sources: []
|
||
---
|
||
|
||
# 开放词表识别 (Open-Vocabulary Recognition)
|
||
|
||
利用 VLM 的文本-图像对齐能力，不依赖预定义标签集，直接用自然语言描述类别进行识别。
|
||
|
||
## 与零样本分类的关系
|
||
|
||
- 零样本分类（[[zero-shot-classification]]）：在训练中未见过的类别上做预测
|
||
- 开放词表识别：更广泛的框架——任何可被自然语言描述的类别都可识别，无需在训练中显式定义标签空间
|
||
|
||
## VLM 实现
|
||
|
||
VLM 将类别名（或描述性 prompt）编码为文本嵌入，与图像嵌入做余弦相似度匹配：
|
||
$$f(x) = \arg\max_c \langle f_{\text{img}}(x), f_{\text{text}}(t_c) \rangle$$
|
||
|
||
## 参考
|
||
|
||
- [[vision-language-models|VLM]]
|
||
- [[clip|CLIP]]
|
||
- [[text-proxy-for-semantics|文本语义代理]]
|