20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,43 @@
---
title: "语义鲁棒性认证 (Semantic Robustness Certification)"
created: 2026-07-04
updated: 2026-07-04
type: concept
tags: [certification, robustness, semantics, vlm]
sources: ["arXiv:2606.18839"]
---
# 语义鲁棒性认证 (Semantic Robustness Certification)
面向 VLM 的语义级鲁棒性认证框架,利用文本 prompt 作为语义代理,在 VLM 嵌入空间中定义可参数化的语义变换,并通过闭式决策边界解析计算预测不变的 semantic extent intervals。
## 与传统认证的区别
| 维度 | 传统像素认证 | 语义鲁棒性认证 |
|------|------------|--------------|
| 变换空间 | $L_p$ 像素球 | VLM 嵌入空间语义平面 |
| 语义方向 | 无worst-case 扰动) | 文本 prompt 指定 |
| 决策边界 | 需网络结构分析 | 闭式Voronoi cells |
| 额外数据 | 不需要 | 不需要(核心优势 vs 生成模型方法) |
| 输出 | 标量鲁棒半径 | 区间序列 + 翻转点 |
## 三类语义 extent 确定方式
1. **Text-specified (T-Spec)**:直接用 target prompt 嵌入确定 $\varphi_{a'}$
2. **Image-specified (I-Spec)**:用目标语义参考图像嵌入投影确定
3. **Misalignment-bounded**:通过 $\delta$ budget 建模跨模态不对齐影响
## 关键技术组件
- [[semantic-plane|语义平面]] — 变化限制在二维子空间
- [[semantic-extent|语义 extent]] — $\varphi$ 控制语义变化强度
- [[prediction-invariant-intervals|预测不变区间]] — 解析求解的证书输出
- [[voronoi-decision-regions|Voronoi 决策区域]] — 闭式边界
- [[misalignment-budget|不对齐预算]] — $\delta$ 鲁棒化
## 参考
- [[semantic-robustness-certification-vlm-2026|论文原文 (ICML 2026)]]
- [[robustness-certification|鲁棒性认证]]
- [[vision-language-models|VLM]]
- [[semantic-robustness-cert-vlm-report-2026|数据派THU 报道]]