2.9 KiB
2.9 KiB
title, created, updated, type, tags, source, url
| title | created | updated | type | tags | source | url | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间 | 2026-07-04 | 2026-07-04 | article |
|
数据派THU / 专知 | https://mp.weixin.qq.com/s/HupoMpofsk5Ltx2RoCdAGQ |
面向视觉语言模型的语义鲁棒性认证
数据派THU · 2026-07 · 原始存档
核心概述
ICML 2026 论文 semantic-robustness-certification-vlm-2026 的中文科普报道。核心思想：利用 VLM 的开放词表能力，把文本提示作为语义代理，用一对 source/target prompt 在图文共享嵌入空间中定义语义变化方向；再利用 VLM 分类器决策边界的闭式几何结构，精确计算预测类别保持不变的 semantic extent interval。
方法直觉
- 问题：图像发生语义变化（形状、风格、背景等）时，VLM 预测何时翻转？
- 传统方法局限：像素扰动不能表达"更圆""更暗""像素描风"等语义变化
- 本文方案：不采样图像，而是在 VLM 嵌入几何中解析计算预测不变区间
三步框架
- 语义平面：一对文本 prompt 的嵌入
u_a, u_{a'}张成二维子空间P_{a,a'} - 语义变换：图像嵌入分解为 $z_\parallel$（语义相关）+ $z_\perp$（语义无关），只变
\varphi控制语义强度 - 闭式认证：VLM 的 Voronoi 决策边界给出闭式的类别翻转方程 → 排序 → 区间切分
应用场景
- 鲁棒性审计：指定语义方向，检查 VLM 稳定性
- Failure mode 诊断：证书区间短 → 模型对该语义敏感
- Prompt engineering：不同 prompt 产生不同稳定区间，证书长度可作为选择标准
- 下游任务复用：检索、检测、分割等共享同一 scoring mechanism
限制
- 证书依赖文本代理质量和跨模态对齐程度
- 真实世界语义变化难以完全隔离（非目标因素可能混杂）
核心概念
- semantic-robustness-certification
- semantic-extent
- text-proxy-for-semantics
- semantic-plane
- prediction-invariant-intervals
- voronoi-decision-regions
- misalignment-budget
- additive-semantics
基底概念
- vision-language-models
- robustness-certification
- dual-encoder-vlm
- clip
- cosine-similarity-geometry
- randomized-smoothing
- exactline