39 lines
1.5 KiB
Markdown
39 lines
1.5 KiB
Markdown
---
|
||
title: "加性语义 (Additive Semantics)"
|
||
created: 2026-07-04
|
||
updated: 2026-07-04
|
||
type: concept
|
||
tags: [semantics, linearity, embedding, vlm]
|
||
sources: ["arXiv:2606.18839"]
|
||
---
|
||
|
||
# 加性语义 (Additive Semantics)
|
||
|
||
VLM 嵌入空间中语义强度的加性分解性质，来自余弦相似度的双线性。
|
||
|
||
## 假设
|
||
|
||
**Assumption 4.1 (Similarity-based Semantic Strength)**：语义 $a$ 在查询嵌入 $e$ 处的强度 $D_a(e) = \langle e, v_a \rangle \in [-1, 1]$，即内积（余弦相似度）度量语义强度。
|
||
|
||
## 加性性质
|
||
|
||
**Remark 4.2 (Additive Semantic Strength)**：若 $e = \sum_i \alpha_i v_{a_i}$，则
|
||
$$D_a(e) = \sum_i \alpha_i D_a(v_{a_i})$$
|
||
|
||
语义强度对内积的线性依赖意味着语义可被线性分解和组合。
|
||
|
||
## 为什么 VLM 有但一般网络没有
|
||
|
||
VLM 的预测基于 cosine similarity（内积），而非非线性 softmax on MLP。这使得嵌入空间中的**线性运算是语义可解释的**——内积的双线性在语义层产生加性结构，而一般神经网络的决策函数不满足此性质。
|
||
|
||
## 在语义认证中的作用
|
||
|
||
加性语义是实现 [[semantic-plane|语义平面]] 约束的基础：证明语义变化若只影响对 $u_a, u_{a'}$ 的强度，则变化必然在 $P_{a,a'}$ 内。
|
||
|
||
## 参考
|
||
|
||
- [[cosine-similarity-geometry|余弦相似度几何]]
|
||
- [[semantic-plane|语义平面]]
|
||
- [[semantic-robustness-certification|语义鲁棒性认证]]
|
||
- [[semantic-robustness-certification-vlm-2026|论文原文]]
|