20260706:新增一些文章

articles/semantic-robustness-cert-vlm-report-2026.md

@@ -0,0 +1,66 @@
+---
+title: "面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间"
+created: 2026-07-04
+updated: 2026-07-04
+type: article
+tags: [vlm, certification, semantics, robustness, icml-2026, chinese-report]
+source: "数据派THU / 专知"
+url: "https://mp.weixin.qq.com/s/HupoMpofsk5Ltx2RoCdAGQ"
+---
+
+# 面向视觉语言模型的语义鲁棒性认证
+
+> 数据派THU · 2026-07 · [原始存档](raw/articles/data-pie-vlm-semantic-cert-2026.md)
+
+## 核心概述
+
+ICML 2026 论文 [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification for Vision-Language Models]] 的中文科普报道。核心思想：利用 VLM 的开放词表能力，把文本提示作为语义代理，用一对 source/target prompt 在图文共享嵌入空间中定义语义变化方向；再利用 VLM 分类器决策边界的闭式几何结构，精确计算预测类别保持不变的 semantic extent interval。
+
+## 方法直觉
+
+- **问题**：图像发生语义变化（形状、风格、背景等）时，VLM 预测何时翻转？
+- **传统方法局限**：像素扰动不能表达"更圆""更暗""像素描风"等语义变化
+- **本文方案**：不采样图像，而是在 VLM **嵌入几何**中解析计算预测不变区间
+
+## 三步框架
+
+1. **语义平面**：一对文本 prompt 的嵌入 $u_a, u_{a'}$ 张成二维子空间 $P_{a,a'}$
+2. **语义变换**：图像嵌入分解为 $z_\parallel$（语义相关）+ $z_\perp$（语义无关），只变 $\varphi$ 控制语义强度
+3. **闭式认证**：VLM 的 Voronoi 决策边界给出闭式的类别翻转方程 → 排序 → 区间切分
+
+## 应用场景
+
+- 鲁棒性审计：指定语义方向，检查 VLM 稳定性
+- Failure mode 诊断：证书区间短 → 模型对该语义敏感
+- Prompt engineering：不同 prompt 产生不同稳定区间，证书长度可作为选择标准
+- 下游任务复用：检索、检测、分割等共享同一 scoring mechanism
+
+## 限制
+
+- 证书依赖文本代理质量和跨模态对齐程度
+- 真实世界语义变化难以完全隔离（非目标因素可能混杂）
+
+## 核心概念
+
+- [[semantic-robustness-certification|语义鲁棒性认证]]
+- [[semantic-extent|语义 extent]]
+- [[text-proxy-for-semantics|文本语义代理]]
+- [[semantic-plane|语义平面]]
+- [[prediction-invariant-intervals|预测不变区间]]
+- [[voronoi-decision-regions|Voronoi 决策区域]]
+- [[misalignment-budget|不对齐预算]]
+- [[additive-semantics|加性语义]]
+
+## 基底概念
+
+- [[vision-language-models|VLM]]
+- [[robustness-certification|鲁棒性认证]]
+- [[dual-encoder-vlm|双编码器 VLM]]
+- [[clip|CLIP]]
+- [[cosine-similarity-geometry|余弦相似度几何]]
+- [[randomized-smoothing|随机平滑]]
+- [[exactline|ExactLine]]
+
+## 论文原文
+
+- [[semantic-robustness-certification-vlm-2026|Semantic Robustness Certification for Vision-Language Models (ICML 2026)]]