20260706:新增一些文章

papers/semantic-robustness-certification-vlm-2026.md

@@ -0,0 +1,70 @@
+---
+title: "Semantic Robustness Certification for Vision-Language Models"
+created: 2026-07-04
+updated: 2026-07-04
+type: paper
+tags: [vlm, certification, robustness, semantics, icml-2026]
+sources: ["arXiv:2606.18839"]
+venue: "ICML 2026"
+authors: ["Peiyu Yang", "Paul Montague", "Feng Liu", "Andrew C. Cullen", "Amardeep Kaur", "Christopher Leckie", "Sarah M. Erfani"]
+---
+
+# Semantic Robustness Certification for Vision-Language Models
+
+> Yang et al., ICML 2026. arXiv:2606.18839 · [代码](https://github.com/ypeiyu/vlm-semantic-cert) · [原始存档](raw/papers/yang-semantic-robustness-cert-2026.md)
+
+## 核心问题
+
+VLM 在真实应用中常面临**语义层面**的分布偏移（形状、尺寸、风格、背景等变化），但传统鲁棒性认证多关注像素扰动或几何变换，无法回答：当图像沿着某个「语义方向」变化时，VLM 的预测在多大范围内不变？
+
+## 方法
+
+利用 VLM 的开放词表能力，用**文本 prompt 对作为语义代理**定义语义变化方向，在 VLM 嵌入空间中构造可参数化的语义变换 $\gamma(\varphi)$，并利用 VLM 分类器的闭式几何结构（Voronoi cells）解析计算预测不变的 **semantic extent interval**。
+
+### 三步框架
+
+1. **语义表征**：一对 source/target 文本 prompt 的嵌入 $u_a, u_{a'}$ 张成二维语义平面 $P_{a,a'}$（[[semantic-plane]]）
+2. **语义变换**：将图像嵌入 $z$ 分解为 $z_\parallel \in P_{a,a'}$ 和 $z_\perp \perp P_{a,a'}$，只改变平面内分量以控制语义强度 $\varphi$（[[semantic-extent]]）
+3. **区间认证**：VLM 的 pairwise bisector 决策边界给出闭式的 class flip 方程 $m_{c,c'}(\varphi) = 0$，求解 → 排序 → 切分 $[\varphi_a, \varphi_{a'}]$ 为若干 [[prediction-invariant-intervals]]
+
+### 跨模态不对齐建模
+
+针对文本-图像嵌入的跨模态 gap，引入 misalignment budget $\delta$（[[misalignment-budget]]），证明在 $\delta$-邻域内证书保持有效。
+
+## 关键贡献
+
+1. 首个不需要每个语义变化额外数据的 VLM 语义级鲁棒性认证框架
+2. 文本 prompt 作为语义代理 → 开放词表语义变化
+3. 解析的预测不变区间（非概率保证），完全可解释
+4. 支持 Text-specified (T-Spec) 和 Image-specified (I-Spec) 两种 extent 确定方式
+
+## 实验
+
+- **模型**：CLIP ViT-B/32
+- **语义属性**：color, shape, material, style, texture, background, viewpoint, illumination
+- **数据集**：合成（OxfordPets, Flowers102, Food101 等）+ 真实（DTD, FGVCAircraft, Caltech101, StanfordCars 等 8 个）
+- **基线**：[[exactline|ExactLine]]
+
+结论：构造的语义变换与目标语义一致，证书区间正确对应预测变化，I-Spec > T-Spec > ExactLine。
+
+## 相关概念
+
+- [[vision-language-models|VLM]]
+- [[semantic-robustness-certification|语义鲁棒性认证]]
+- [[semantic-extent|语义 extent]]
+- [[text-proxy-for-semantics|文本语义代理]]
+- [[semantic-plane|语义平面]]
+- [[prediction-invariant-intervals|预测不变区间]]
+- [[voronoi-decision-regions|Voronoi 决策区域]]
+- [[misalignment-budget|不对齐预算]]
+- [[additive-semantics|加性语义]]
+- [[robustness-certification|鲁棒性认证]]
+- [[dual-encoder-vlm|双编码器 VLM]]
+- [[cosine-similarity-geometry|余弦相似度几何]]
+- [[clip|CLIP]]
+- [[randomized-smoothing|随机平滑]]
+- [[distribution-shift|分布偏移]]
+
+## 相关报道
+
+- [[semantic-robustness-cert-vlm-report-2026|数据派THU：语义鲁棒性认证报道]]