Semantic Robustness Certification for Vision-Language Models

Yang et al., ICML 2026. arXiv:2606.18839 · 代码 · 原始存档

核心问题

VLM 在真实应用中常面临语义层面的分布偏移（形状、尺寸、风格、背景等变化），但传统鲁棒性认证多关注像素扰动或几何变换，无法回答：当图像沿着某个「语义方向」变化时，VLM 的预测在多大范围内不变？

方法

利用 VLM 的开放词表能力，用文本 prompt 对作为语义代理定义语义变化方向，在 VLM 嵌入空间中构造可参数化的语义变换 $\gamma(\varphi)$，并利用 VLM 分类器的闭式几何结构（Voronoi cells）解析计算预测不变的 semantic extent interval。

三步框架

语义表征：一对 source/target 文本 prompt 的嵌入 u_a, u_{a'} 张成二维语义平面 $P_{a,a'}$（semantic-plane）
语义变换：将图像嵌入 z 分解为 z_\parallel \in P_{a,a'} 和 $z_\perp \perp P_{a,a'}$，只改变平面内分量以控制语义强度 $\varphi$（semantic-extent）
区间认证：VLM 的 pairwise bisector 决策边界给出闭式的 class flip 方程 $m_{c,c'}(\varphi) = 0$，求解 → 排序 → 切分 [\varphi_a, \varphi_{a'}] 为若干 prediction-invariant-intervals

跨模态不对齐建模

针对文本-图像嵌入的跨模态 gap，引入 misalignment budget $\delta$（misalignment-budget），证明在 $\delta$-邻域内证书保持有效。

关键贡献

首个不需要每个语义变化额外数据的 VLM 语义级鲁棒性认证框架
文本 prompt 作为语义代理 → 开放词表语义变化
解析的预测不变区间（非概率保证），完全可解释
支持 Text-specified (T-Spec) 和 Image-specified (I-Spec) 两种 extent 确定方式

实验

模型：CLIP ViT-B/32
语义属性：color, shape, material, style, texture, background, viewpoint, illumination
数据集：合成（OxfordPets, Flowers102, Food101 等）+ 真实（DTD, FGVCAircraft, Caltech101, StanfordCars 等 8 个）
基线：exactline

结论：构造的语义变换与目标语义一致，证书区间正确对应预测变化，I-Spec > T-Spec > ExactLine。

3.4 KiB

Raw Permalink Blame History

Semantic Robustness Certification for Vision-Language Models

核心问题

方法

三步框架

跨模态不对齐建模

关键贡献

实验

相关概念

相关报道

3.4 KiB Raw Permalink Blame History Unescape Escape

Semantic Robustness Certification for Vision-Language Models

核心问题

方法

三步框架

跨模态不对齐建模

关键贡献

实验

相关概念

相关报道

3.4 KiB

Raw Permalink Blame History