20260706:新增一些文章
This commit is contained in:
40
concepts/text-proxy-for-semantics.md
Normal file
40
concepts/text-proxy-for-semantics.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
title: "文本语义代理 (Text Proxy for Semantics)"
|
||||
created: 2026-07-04
|
||||
updated: 2026-07-04
|
||||
type: concept
|
||||
tags: [vlm, text-prompt, semantics, proxy]
|
||||
sources: ["arXiv:2606.18839"]
|
||||
---
|
||||
|
||||
# 文本语义代理 (Text Proxy for Semantics)
|
||||
|
||||
利用 VLM 的开放词表能力,以文本 prompt 作为语义的代理(proxy),在 VLM 嵌入空间中直接指定和参数化语义变化方向。
|
||||
|
||||
## 为什么用文本而不是图像?
|
||||
|
||||
- VLM 的对比训练使文本嵌入成为嵌入空间中的**语义锚点**
|
||||
- 图像嵌入通常会**纠缠多个语义因子**(物体 + 背景 + 光照 + 视角)
|
||||
- 文本 prompt 可以精确指定**单一语义属性**(如 "a photo of a triangular gyoza" vs "a photo of a round gyoza")
|
||||
|
||||
## 工作方式
|
||||
|
||||
一对 source/target prompt $(t_a, t_{a'})$ 的文本嵌入 $u_a, u_{a'}$:
|
||||
|
||||
1. 张成二维 [[semantic-plane|语义平面]] $P_{a,a'} = \text{span}\{u_a, u_{a'}\}$
|
||||
2. 定义 [[semantic-extent|语义 extent]] $\varphi$ 的坐标系
|
||||
3. 在语义平面中参数化 [[semantic-robustness-certification|语义变换]]
|
||||
|
||||
## 优势
|
||||
|
||||
- **开放词表**:任何可被文本描述的属性都可作为语义方向
|
||||
- **无需额外数据**:不需要为每种语义变化训练生成模型或收集标注数据
|
||||
- **可解释**:文本 prompt 本身就是语义变化的可读描述
|
||||
|
||||
## 参考
|
||||
|
||||
- [[semantic-robustness-certification-vlm-2026|论文原文 (ICML 2026)]]
|
||||
- [[semantic-plane|语义平面]]
|
||||
- [[semantic-extent|语义 extent]]
|
||||
- [[vision-language-models|VLM]]
|
||||
- [[open-vocabulary-recognition|开放词表识别]]
|
||||
Reference in New Issue
Block a user