---
title: "数据派THU：面向视觉语言模型的语义鲁棒性认证 (Raw)"
created: 2026-07-04
type: raw-article
source: "数据派THU / 专知"
url: "https://mp.weixin.qq.com/s/HupoMpofsk5Ltx2RoCdAGQ"
---

# ICML 2026 | 面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间

来源：专知 / 数据派THU

## 核心文章

介绍 ICML 2026 论文 "Semantic Robustness Certification for Vision-Language Models" (arXiv:2606.18839)。

### 研究背景

VLM 已成为开放词表识别、图文检索、检测、分割和 VQA 的基础组件。但在真实应用中，输入图像经常发生语义层面的变化：物体形状、尺寸、风格、背景、视角、光照等。传统鲁棒性认证多关注像素扰动、几何变换或生成模型潜空间变化，难以回答"图像沿语义方向变化时，VLM 预测在多大范围内保持不变"。

### 核心方法

利用 VLM 开放词表能力，用文本 prompt 作为语义代理，一对 source/target prompt 在嵌入空间中定义语义方向；利用分类器决策边界的闭式几何结构，精确计算 prediction-invariant semantic extent intervals。

### 三步框架

1. 文本 prompt 对嵌入张成二维语义平面
2. 在语义平面内构造参数化语义变换 γ(φ)
3. 闭式 Voronoi 决策边界 → 解析求解类别翻转点 → 区间认证

### 实验

CLIP ViT-B/32，覆盖 8 个属性类型（color, shape, material, style, texture, background, viewpoint, illumination），合成 + 真实数据 8 个数据集。比基线 ExactLine 更稳定。

### 限制

- 依赖文本代理质量和跨模态对齐
- 真实语义变化难以完全隔离

### 论文

- 论文: Semantic Robustness Certification for Vision-Language Models (ICML 2026)
- arXiv: 2606.18839
- 代码: https://github.com/ypeiyu/vlm-semantic-cert
- 作者: Peiyu Yang, Paul Montague, Feng Liu, Andrew C. Cullen, Amardeep Kaur, Christopher Leckie, Sarah M. Erfani
- 机构: University of Melbourne, Defence Science and Technology Group
