myWiki/concepts/open-vocabulary-recognition.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
开放词表识别 (Open-Vocabulary Recognition)	2026-07-04	2026-07-04	concept	vision classification zero-shot vlm

开放词表识别 (Open-Vocabulary Recognition)

利用 VLM 的文本-图像对齐能力，不依赖预定义标签集，直接用自然语言描述类别进行识别。

与零样本分类的关系

• 零样本分类（zero-shot-classification）：在训练中未见过的类别上做预测
• 开放词表识别：更广泛的框架——任何可被自然语言描述的类别都可识别，无需在训练中显式定义标签空间

VLM 实现

VLM 将类别名（或描述性 prompt）编码为文本嵌入，与图像嵌入做余弦相似度匹配：

f(x) = \arg\max_c \langle f_{\text{img}}(x), f_{\text{text}}(t_c) \rangle

参考

• vision-language-models
• clip
• text-proxy-for-semantics