2.0 KiB
2.0 KiB
title, created, type, source, url
| title | created | type | source | url |
|---|---|---|---|---|
| 数据派THU：面向视觉语言模型的语义鲁棒性认证 (Raw) | 2026-07-04 | raw-article | 数据派THU / 专知 | https://mp.weixin.qq.com/s/HupoMpofsk5Ltx2RoCdAGQ |
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间
来源：专知 / 数据派THU
核心文章
介绍 ICML 2026 论文 "Semantic Robustness Certification for Vision-Language Models" (arXiv:2606.18839)。
研究背景
VLM 已成为开放词表识别、图文检索、检测、分割和 VQA 的基础组件。但在真实应用中，输入图像经常发生语义层面的变化：物体形状、尺寸、风格、背景、视角、光照等。传统鲁棒性认证多关注像素扰动、几何变换或生成模型潜空间变化，难以回答"图像沿语义方向变化时，VLM 预测在多大范围内保持不变"。
核心方法
利用 VLM 开放词表能力，用文本 prompt 作为语义代理，一对 source/target prompt 在嵌入空间中定义语义方向；利用分类器决策边界的闭式几何结构，精确计算 prediction-invariant semantic extent intervals。
三步框架
- 文本 prompt 对嵌入张成二维语义平面
- 在语义平面内构造参数化语义变换 γ(φ)
- 闭式 Voronoi 决策边界 → 解析求解类别翻转点 → 区间认证
实验
CLIP ViT-B/32，覆盖 8 个属性类型（color, shape, material, style, texture, background, viewpoint, illumination），合成 + 真实数据 8 个数据集。比基线 ExactLine 更稳定。
限制
- 依赖文本代理质量和跨模态对齐
- 真实语义变化难以完全隔离
论文
- 论文: Semantic Robustness Certification for Vision-Language Models (ICML 2026)
- arXiv: 2606.18839
- 代码: https://github.com/ypeiyu/vlm-semantic-cert
- 作者: Peiyu Yang, Paul Montague, Feng Liu, Andrew C. Cullen, Amardeep Kaur, Christopher Leckie, Sarah M. Erfani
- 机构: University of Melbourne, Defence Science and Technology Group