41 lines
1.5 KiB
Markdown
41 lines
1.5 KiB
Markdown
---
|
||
title: "文本语义代理 (Text Proxy for Semantics)"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: concept
|
||
tags: [vlm, text-prompt, semantics, proxy]
|
||
sources: ["arXiv:2606.18839"]
|
||
---
|
||
|
||
# 文本语义代理 (Text Proxy for Semantics)
|
||
|
||
利用 VLM 的开放词表能力，以文本 prompt 作为语义的代理（proxy），在 VLM 嵌入空间中直接指定和参数化语义变化方向。
|
||
|
||
## 为什么用文本而不是图像？
|
||
|
||
- VLM 的对比训练使文本嵌入成为嵌入空间中的**语义锚点**
|
||
- 图像嵌入通常会**纠缠多个语义因子**（物体 + 背景 + 光照 + 视角）
|
||
- 文本 prompt 可以精确指定**单一语义属性**（如 "a photo of a triangular gyoza" vs "a photo of a round gyoza"）
|
||
|
||
## 工作方式
|
||
|
||
一对 source/target prompt $(t_a, t_{a'})$ 的文本嵌入 $u_a, u_{a'}$：
|
||
|
||
1. 张成二维 [[semantic-plane|语义平面]] $P_{a,a'} = \text{span}\{u_a, u_{a'}\}$
|
||
2. 定义 [[semantic-extent|语义 extent]] $\varphi$ 的坐标系
|
||
3. 在语义平面中参数化 [[semantic-robustness-certification|语义变换]]
|
||
|
||
## 优势
|
||
|
||
- **开放词表**：任何可被文本描述的属性都可作为语义方向
|
||
- **无需额外数据**：不需要为每种语义变化训练生成模型或收集标注数据
|
||
- **可解释**：文本 prompt 本身就是语义变化的可读描述
|
||
|
||
## 参考
|
||
|
||
- [[semantic-robustness-certification-vlm-2026|论文原文 (ICML 2026)]]
|
||
- [[semantic-plane|语义平面]]
|
||
- [[semantic-extent|语义 extent]]
|
||
- [[vision-language-models|VLM]]
|
||
- [[open-vocabulary-recognition|开放词表识别]]
|