47 lines
2.0 KiB
Markdown
47 lines
2.0 KiB
Markdown
---
|
||
title: "数据派THU：面向视觉语言模型的语义鲁棒性认证 (Raw)"
|
||
created: 2026-07-04
|
||
type: raw-article
|
||
source: "数据派THU / 专知"
|
||
url: "https://mp.weixin.qq.com/s/HupoMpofsk5Ltx2RoCdAGQ"
|
||
---
|
||
|
||
# ICML 2026 | 面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间
|
||
|
||
来源：专知 / 数据派THU
|
||
|
||
## 核心文章
|
||
|
||
介绍 ICML 2026 论文 "Semantic Robustness Certification for Vision-Language Models" (arXiv:2606.18839)。
|
||
|
||
### 研究背景
|
||
|
||
VLM 已成为开放词表识别、图文检索、检测、分割和 VQA 的基础组件。但在真实应用中，输入图像经常发生语义层面的变化：物体形状、尺寸、风格、背景、视角、光照等。传统鲁棒性认证多关注像素扰动、几何变换或生成模型潜空间变化，难以回答"图像沿语义方向变化时，VLM 预测在多大范围内保持不变"。
|
||
|
||
### 核心方法
|
||
|
||
利用 VLM 开放词表能力，用文本 prompt 作为语义代理，一对 source/target prompt 在嵌入空间中定义语义方向；利用分类器决策边界的闭式几何结构，精确计算 prediction-invariant semantic extent intervals。
|
||
|
||
### 三步框架
|
||
|
||
1. 文本 prompt 对嵌入张成二维语义平面
|
||
2. 在语义平面内构造参数化语义变换 γ(φ)
|
||
3. 闭式 Voronoi 决策边界 → 解析求解类别翻转点 → 区间认证
|
||
|
||
### 实验
|
||
|
||
CLIP ViT-B/32，覆盖 8 个属性类型（color, shape, material, style, texture, background, viewpoint, illumination），合成 + 真实数据 8 个数据集。比基线 ExactLine 更稳定。
|
||
|
||
### 限制
|
||
|
||
- 依赖文本代理质量和跨模态对齐
|
||
- 真实语义变化难以完全隔离
|
||
|
||
### 论文
|
||
|
||
- 论文: Semantic Robustness Certification for Vision-Language Models (ICML 2026)
|
||
- arXiv: 2606.18839
|
||
- 代码: https://github.com/ypeiyu/vlm-semantic-cert
|
||
- 作者: Peiyu Yang, Paul Montague, Feng Liu, Andrew C. Cullen, Amardeep Kaur, Christopher Leckie, Sarah M. Erfani
|
||
- 机构: University of Melbourne, Defence Science and Technology Group
|