67 lines
2.9 KiB
Markdown
67 lines
2.9 KiB
Markdown
---
|
||
title: "面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: article
|
||
tags: [vlm, certification, semantics, robustness, icml-2026, chinese-report]
|
||
source: "数据派THU / 专知"
|
||
url: "https://mp.weixin.qq.com/s/HupoMpofsk5Ltx2RoCdAGQ"
|
||
---
|
||
|
||
# 面向视觉语言模型的语义鲁棒性认证
|
||
|
||
> 数据派THU · 2026-07 · [原始存档](raw/articles/data-pie-vlm-semantic-cert-2026.md)
|
||
|
||
## 核心概述
|
||
|
||
ICML 2026 论文 [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification for Vision-Language Models]] 的中文科普报道。核心思想：利用 VLM 的开放词表能力，把文本提示作为语义代理，用一对 source/target prompt 在图文共享嵌入空间中定义语义变化方向；再利用 VLM 分类器决策边界的闭式几何结构，精确计算预测类别保持不变的 semantic extent interval。
|
||
|
||
## 方法直觉
|
||
|
||
- **问题**：图像发生语义变化（形状、风格、背景等）时，VLM 预测何时翻转？
|
||
- **传统方法局限**：像素扰动不能表达"更圆""更暗""像素描风"等语义变化
|
||
- **本文方案**：不采样图像，而是在 VLM **嵌入几何**中解析计算预测不变区间
|
||
|
||
## 三步框架
|
||
|
||
1. **语义平面**：一对文本 prompt 的嵌入 $u_a, u_{a'}$ 张成二维子空间 $P_{a,a'}$
|
||
2. **语义变换**：图像嵌入分解为 $z_\parallel$（语义相关）+ $z_\perp$（语义无关），只变 $\varphi$ 控制语义强度
|
||
3. **闭式认证**：VLM 的 Voronoi 决策边界给出闭式的类别翻转方程 → 排序 → 区间切分
|
||
|
||
## 应用场景
|
||
|
||
- 鲁棒性审计：指定语义方向，检查 VLM 稳定性
|
||
- Failure mode 诊断：证书区间短 → 模型对该语义敏感
|
||
- Prompt engineering：不同 prompt 产生不同稳定区间，证书长度可作为选择标准
|
||
- 下游任务复用：检索、检测、分割等共享同一 scoring mechanism
|
||
|
||
## 限制
|
||
|
||
- 证书依赖文本代理质量和跨模态对齐程度
|
||
- 真实世界语义变化难以完全隔离（非目标因素可能混杂）
|
||
|
||
## 核心概念
|
||
|
||
- [[semantic-robustness-certification|语义鲁棒性认证]]
|
||
- [[semantic-extent|语义 extent]]
|
||
- [[text-proxy-for-semantics|文本语义代理]]
|
||
- [[semantic-plane|语义平面]]
|
||
- [[prediction-invariant-intervals|预测不变区间]]
|
||
- [[voronoi-decision-regions|Voronoi 决策区域]]
|
||
- [[misalignment-budget|不对齐预算]]
|
||
- [[additive-semantics|加性语义]]
|
||
|
||
## 基底概念
|
||
|
||
- [[vision-language-models|VLM]]
|
||
- [[robustness-certification|鲁棒性认证]]
|
||
- [[dual-encoder-vlm|双编码器 VLM]]
|
||
- [[clip|CLIP]]
|
||
- [[cosine-similarity-geometry|余弦相似度几何]]
|
||
- [[randomized-smoothing|随机平滑]]
|
||
- [[exactline|ExactLine]]
|
||
|
||
## 论文原文
|
||
|
||
- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification for Vision-Language Models (ICML 2026)]]
|