1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 文本语义代理 (Text Proxy for Semantics) | 2026-07-04 | 2026-07-04 | concept |
|
|
文本语义代理 (Text Proxy for Semantics)
利用 VLM 的开放词表能力，以文本 prompt 作为语义的代理（proxy），在 VLM 嵌入空间中直接指定和参数化语义变化方向。
为什么用文本而不是图像？
- VLM 的对比训练使文本嵌入成为嵌入空间中的语义锚点
- 图像嵌入通常会纠缠多个语义因子（物体 + 背景 + 光照 + 视角）
- 文本 prompt 可以精确指定单一语义属性（如 "a photo of a triangular gyoza" vs "a photo of a round gyoza"）
工作方式
一对 source/target prompt (t_a, t_{a'}) 的文本嵌入 $u_a, u_{a'}$：
- 张成二维 semantic-plane
P_{a,a'} = \text{span}\{u_a, u_{a'}\} - 定义 semantic-extent
\varphi的坐标系 - 在语义平面中参数化 semantic-robustness-certification
优势
- 开放词表：任何可被文本描述的属性都可作为语义方向
- 无需额外数据：不需要为每种语义变化训练生成模型或收集标注数据
- 可解释：文本 prompt 本身就是语义变化的可读描述