---
title: "Semantic Robustness Certification for Vision-Language Models"
created: 2026-07-04
updated: 2026-07-04
type: paper
tags: [vlm, certification, robustness, semantics, icml-2026]
sources: ["arXiv:2606.18839"]
venue: "ICML 2026"
authors: ["Peiyu Yang", "Paul Montague", "Feng Liu", "Andrew C. Cullen", "Amardeep Kaur", "Christopher Leckie", "Sarah M. Erfani"]
---

# Semantic Robustness Certification for Vision-Language Models

> Yang et al., ICML 2026. arXiv:2606.18839 · [代码](https://github.com/ypeiyu/vlm-semantic-cert) · [原始存档](raw/papers/yang-semantic-robustness-cert-2026.md)

## 核心问题

VLM 在真实应用中常面临**语义层面**的分布偏移（形状、尺寸、风格、背景等变化），但传统鲁棒性认证多关注像素扰动或几何变换，无法回答：当图像沿着某个「语义方向」变化时，VLM 的预测在多大范围内不变？

## 方法

利用 VLM 的开放词表能力，用**文本 prompt 对作为语义代理**定义语义变化方向，在 VLM 嵌入空间中构造可参数化的语义变换 $\gamma(\varphi)$，并利用 VLM 分类器的闭式几何结构（Voronoi cells）解析计算预测不变的 **semantic extent interval**。

### 三步框架

1. **语义表征**：一对 source/target 文本 prompt 的嵌入 $u_a, u_{a'}$ 张成二维语义平面 $P_{a,a'}$（[[semantic-plane]]）
2. **语义变换**：将图像嵌入 $z$ 分解为 $z_\parallel \in P_{a,a'}$ 和 $z_\perp \perp P_{a,a'}$，只改变平面内分量以控制语义强度 $\varphi$（[[semantic-extent]]）
3. **区间认证**：VLM 的 pairwise bisector 决策边界给出闭式的 class flip 方程 $m_{c,c'}(\varphi) = 0$，求解 → 排序 → 切分 $[\varphi_a, \varphi_{a'}]$ 为若干 [[prediction-invariant-intervals]]

### 跨模态不对齐建模

针对文本-图像嵌入的跨模态 gap，引入 misalignment budget $\delta$（[[misalignment-budget]]），证明在 $\delta$-邻域内证书保持有效。

## 关键贡献

1. 首个不需要每个语义变化额外数据的 VLM 语义级鲁棒性认证框架
2. 文本 prompt 作为语义代理 → 开放词表语义变化
3. 解析的预测不变区间（非概率保证），完全可解释
4. 支持 Text-specified (T-Spec) 和 Image-specified (I-Spec) 两种 extent 确定方式

## 实验

- **模型**：CLIP ViT-B/32
- **语义属性**：color, shape, material, style, texture, background, viewpoint, illumination
- **数据集**：合成（OxfordPets, Flowers102, Food101 等）+ 真实（DTD, FGVCAircraft, Caltech101, StanfordCars 等 8 个）
- **基线**：[[exactline|ExactLine]]

结论：构造的语义变换与目标语义一致，证书区间正确对应预测变化，I-Spec > T-Spec > ExactLine。

## 相关概念

- [[vision-language-models|VLM]]
- [[semantic-robustness-certification|语义鲁棒性认证]]
- [[semantic-extent|语义 extent]]
- [[text-proxy-for-semantics|文本语义代理]]
- [[semantic-plane|语义平面]]
- [[prediction-invariant-intervals|预测不变区间]]
- [[voronoi-decision-regions|Voronoi 决策区域]]
- [[misalignment-budget|不对齐预算]]
- [[additive-semantics|加性语义]]
- [[robustness-certification|鲁棒性认证]]
- [[dual-encoder-vlm|双编码器 VLM]]
- [[cosine-similarity-geometry|余弦相似度几何]]
- [[clip|CLIP]]
- [[randomized-smoothing|随机平滑]]
- [[distribution-shift|分布偏移]]

## 相关报道

- [[semantic-robustness-cert-vlm-report-2026|数据派THU：语义鲁棒性认证报道]]