71 lines
3.4 KiB
Markdown
71 lines
3.4 KiB
Markdown
---
|
||
title: "Semantic Robustness Certification for Vision-Language Models"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: paper
|
||
tags: [vlm, certification, robustness, semantics, icml-2026]
|
||
sources: ["arXiv:2606.18839"]
|
||
venue: "ICML 2026"
|
||
authors: ["Peiyu Yang", "Paul Montague", "Feng Liu", "Andrew C. Cullen", "Amardeep Kaur", "Christopher Leckie", "Sarah M. Erfani"]
|
||
---
|
||
|
||
# Semantic Robustness Certification for Vision-Language Models
|
||
|
||
> Yang et al., ICML 2026. arXiv:2606.18839 · [代码](https://github.com/ypeiyu/vlm-semantic-cert) · [原始存档](raw/papers/yang-semantic-robustness-cert-2026.md)
|
||
|
||
## 核心问题
|
||
|
||
VLM 在真实应用中常面临**语义层面**的分布偏移（形状、尺寸、风格、背景等变化），但传统鲁棒性认证多关注像素扰动或几何变换，无法回答：当图像沿着某个「语义方向」变化时，VLM 的预测在多大范围内不变？
|
||
|
||
## 方法
|
||
|
||
利用 VLM 的开放词表能力，用**文本 prompt 对作为语义代理**定义语义变化方向，在 VLM 嵌入空间中构造可参数化的语义变换 $\gamma(\varphi)$，并利用 VLM 分类器的闭式几何结构（Voronoi cells）解析计算预测不变的 **semantic extent interval**。
|
||
|
||
### 三步框架
|
||
|
||
1. **语义表征**：一对 source/target 文本 prompt 的嵌入 $u_a, u_{a'}$ 张成二维语义平面 $P_{a,a'}$（[[semantic-plane]]）
|
||
2. **语义变换**：将图像嵌入 $z$ 分解为 $z_\parallel \in P_{a,a'}$ 和 $z_\perp \perp P_{a,a'}$，只改变平面内分量以控制语义强度 $\varphi$（[[semantic-extent]]）
|
||
3. **区间认证**：VLM 的 pairwise bisector 决策边界给出闭式的 class flip 方程 $m_{c,c'}(\varphi) = 0$，求解 → 排序 → 切分 $[\varphi_a, \varphi_{a'}]$ 为若干 [[prediction-invariant-intervals]]
|
||
|
||
### 跨模态不对齐建模
|
||
|
||
针对文本-图像嵌入的跨模态 gap，引入 misalignment budget $\delta$（[[misalignment-budget]]），证明在 $\delta$-邻域内证书保持有效。
|
||
|
||
## 关键贡献
|
||
|
||
1. 首个不需要每个语义变化额外数据的 VLM 语义级鲁棒性认证框架
|
||
2. 文本 prompt 作为语义代理 → 开放词表语义变化
|
||
3. 解析的预测不变区间（非概率保证），完全可解释
|
||
4. 支持 Text-specified (T-Spec) 和 Image-specified (I-Spec) 两种 extent 确定方式
|
||
|
||
## 实验
|
||
|
||
- **模型**：CLIP ViT-B/32
|
||
- **语义属性**：color, shape, material, style, texture, background, viewpoint, illumination
|
||
- **数据集**：合成（OxfordPets, Flowers102, Food101 等）+ 真实（DTD, FGVCAircraft, Caltech101, StanfordCars 等 8 个）
|
||
- **基线**：[[exactline|ExactLine]]
|
||
|
||
结论：构造的语义变换与目标语义一致，证书区间正确对应预测变化，I-Spec > T-Spec > ExactLine。
|
||
|
||
## 相关概念
|
||
|
||
- [[vision-language-models|VLM]]
|
||
- [[semantic-robustness-certification|语义鲁棒性认证]]
|
||
- [[semantic-extent|语义 extent]]
|
||
- [[text-proxy-for-semantics|文本语义代理]]
|
||
- [[semantic-plane|语义平面]]
|
||
- [[prediction-invariant-intervals|预测不变区间]]
|
||
- [[voronoi-decision-regions|Voronoi 决策区域]]
|
||
- [[misalignment-budget|不对齐预算]]
|
||
- [[additive-semantics|加性语义]]
|
||
- [[robustness-certification|鲁棒性认证]]
|
||
- [[dual-encoder-vlm|双编码器 VLM]]
|
||
- [[cosine-similarity-geometry|余弦相似度几何]]
|
||
- [[clip|CLIP]]
|
||
- [[randomized-smoothing|随机平滑]]
|
||
- [[distribution-shift|分布偏移]]
|
||
|
||
## 相关报道
|
||
|
||
- [[semantic-robustness-cert-vlm-report-2026|数据派THU：语义鲁棒性认证报道]]
|