title, created, updated, type, tags, sources
| title |
created |
updated |
type |
tags |
sources |
| 语义鲁棒性认证 (Semantic Robustness Certification) |
2026-07-04 |
2026-07-04 |
concept |
| certification |
| robustness |
| semantics |
| vlm |
|
|
语义鲁棒性认证 (Semantic Robustness Certification)
面向 VLM 的语义级鲁棒性认证框架,利用文本 prompt 作为语义代理,在 VLM 嵌入空间中定义可参数化的语义变换,并通过闭式决策边界解析计算预测不变的 semantic extent intervals。
与传统认证的区别
| 维度 |
传统像素认证 |
语义鲁棒性认证 |
| 变换空间 |
L_p 像素球 |
VLM 嵌入空间语义平面 |
| 语义方向 |
无(worst-case 扰动) |
文本 prompt 指定 |
| 决策边界 |
需网络结构分析 |
闭式(Voronoi cells) |
| 额外数据 |
不需要 |
不需要(核心优势 vs 生成模型方法) |
| 输出 |
标量鲁棒半径 |
区间序列 + 翻转点 |
三类语义 extent 确定方式
- Text-specified (T-Spec):直接用 target prompt 嵌入确定
\varphi_{a'}
- Image-specified (I-Spec):用目标语义参考图像嵌入投影确定
- Misalignment-bounded:通过
\delta budget 建模跨模态不对齐影响
关键技术组件
参考