20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,40 @@
---
title: "文本语义代理 (Text Proxy for Semantics)"
created: 2026-07-04
updated: 2026-07-04
type: concept
tags: [vlm, text-prompt, semantics, proxy]
sources: ["arXiv:2606.18839"]
---
# 文本语义代理 (Text Proxy for Semantics)
利用 VLM 的开放词表能力,以文本 prompt 作为语义的代理proxy在 VLM 嵌入空间中直接指定和参数化语义变化方向。
## 为什么用文本而不是图像?
- VLM 的对比训练使文本嵌入成为嵌入空间中的**语义锚点**
- 图像嵌入通常会**纠缠多个语义因子**(物体 + 背景 + 光照 + 视角)
- 文本 prompt 可以精确指定**单一语义属性**(如 "a photo of a triangular gyoza" vs "a photo of a round gyoza"
## 工作方式
一对 source/target prompt $(t_a, t_{a'})$ 的文本嵌入 $u_a, u_{a'}$
1. 张成二维 [[semantic-plane|语义平面]] $P_{a,a'} = \text{span}\{u_a, u_{a'}\}$
2. 定义 [[semantic-extent|语义 extent]] $\varphi$ 的坐标系
3. 在语义平面中参数化 [[semantic-robustness-certification|语义变换]]
## 优势
- **开放词表**:任何可被文本描述的属性都可作为语义方向
- **无需额外数据**:不需要为每种语义变化训练生成模型或收集标注数据
- **可解释**:文本 prompt 本身就是语义变化的可读描述
## 参考
- [[semantic-robustness-certification-vlm-2026|论文原文 (ICML 2026)]]
- [[semantic-plane|语义平面]]
- [[semantic-extent|语义 extent]]
- [[vision-language-models|VLM]]
- [[open-vocabulary-recognition|开放词表识别]]