44 lines
1.8 KiB
Markdown
44 lines
1.8 KiB
Markdown
---
|
||
title: "语义鲁棒性认证 (Semantic Robustness Certification)"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: concept
|
||
tags: [certification, robustness, semantics, vlm]
|
||
sources: ["arXiv:2606.18839"]
|
||
---
|
||
|
||
# 语义鲁棒性认证 (Semantic Robustness Certification)
|
||
|
||
面向 VLM 的语义级鲁棒性认证框架，利用文本 prompt 作为语义代理，在 VLM 嵌入空间中定义可参数化的语义变换，并通过闭式决策边界解析计算预测不变的 semantic extent intervals。
|
||
|
||
## 与传统认证的区别
|
||
|
||
| 维度 | 传统像素认证 | 语义鲁棒性认证 |
|
||
|------|------------|--------------|
|
||
| 变换空间 | $L_p$ 像素球 | VLM 嵌入空间语义平面 |
|
||
| 语义方向 | 无（worst-case 扰动） | 文本 prompt 指定 |
|
||
| 决策边界 | 需网络结构分析 | 闭式（Voronoi cells） |
|
||
| 额外数据 | 不需要 | 不需要（核心优势 vs 生成模型方法） |
|
||
| 输出 | 标量鲁棒半径 | 区间序列 + 翻转点 |
|
||
|
||
## 三类语义 extent 确定方式
|
||
|
||
1. **Text-specified (T-Spec)**：直接用 target prompt 嵌入确定 $\varphi_{a'}$
|
||
2. **Image-specified (I-Spec)**：用目标语义参考图像嵌入投影确定
|
||
3. **Misalignment-bounded**：通过 $\delta$ budget 建模跨模态不对齐影响
|
||
|
||
## 关键技术组件
|
||
|
||
- [[semantic-plane|语义平面]] — 变化限制在二维子空间
|
||
- [[semantic-extent|语义 extent]] — $\varphi$ 控制语义变化强度
|
||
- [[prediction-invariant-intervals|预测不变区间]] — 解析求解的证书输出
|
||
- [[voronoi-decision-regions|Voronoi 决策区域]] — 闭式边界
|
||
- [[misalignment-budget|不对齐预算]] — $\delta$ 鲁棒化
|
||
|
||
## 参考
|
||
|
||
- [[semantic-robustness-certification-vlm-2026|论文原文 (ICML 2026)]]
|
||
- [[robustness-certification|鲁棒性认证]]
|
||
- [[vision-language-models|VLM]]
|
||
- [[semantic-robustness-cert-vlm-report-2026|数据派THU 报道]]
|