---
title: "文本语义代理 (Text Proxy for Semantics)"
created: 2026-07-04
updated: 2026-07-04
type: concept
tags: [vlm, text-prompt, semantics, proxy]
sources: ["arXiv:2606.18839"]
---

# 文本语义代理 (Text Proxy for Semantics)

利用 VLM 的开放词表能力，以文本 prompt 作为语义的代理（proxy），在 VLM 嵌入空间中直接指定和参数化语义变化方向。

## 为什么用文本而不是图像？

- VLM 的对比训练使文本嵌入成为嵌入空间中的**语义锚点**
- 图像嵌入通常会**纠缠多个语义因子**（物体 + 背景 + 光照 + 视角）
- 文本 prompt 可以精确指定**单一语义属性**（如 "a photo of a triangular gyoza" vs "a photo of a round gyoza"）

## 工作方式

一对 source/target prompt $(t_a, t_{a'})$ 的文本嵌入 $u_a, u_{a'}$：

1. 张成二维 [[semantic-plane|语义平面]] $P_{a,a'} = \text{span}\{u_a, u_{a'}\}$
2. 定义 [[semantic-extent|语义 extent]] $\varphi$ 的坐标系
3. 在语义平面中参数化 [[semantic-robustness-certification|语义变换]]

## 优势

- **开放词表**：任何可被文本描述的属性都可作为语义方向
- **无需额外数据**：不需要为每种语义变化训练生成模型或收集标注数据
- **可解释**：文本 prompt 本身就是语义变化的可读描述

## 参考

- [[semantic-robustness-certification-vlm-2026|论文原文 (ICML 2026)]]
- [[semantic-plane|语义平面]]
- [[semantic-extent|语义 extent]]
- [[vision-language-models|VLM]]
- [[open-vocabulary-recognition|开放词表识别]]