51 lines
1.7 KiB
Markdown
51 lines
1.7 KiB
Markdown
---
|
||
title: "Directional Uncertainty Decomposition (方向不确定性分解)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["directional-statistics", "uncertainty-quantification", "attention", "embeddings"]
|
||
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
|
||
---
|
||
|
||
# Directional Uncertainty Decomposition (方向不确定性分解)
|
||
|
||
GID 解决的核心问题：当数据是**球面上的加权经验测度**时，如何分层量化方向不确定性。
|
||
|
||
## 问题来源
|
||
|
||
在以下场景中，数据天然具有加权球面测度形式：
|
||
|
||
| 场景 | 点 x_i | 权重 w_i |
|
||
|------|--------|---------|
|
||
| 注意力加权嵌入 | 归一化 value 向量 | softmax 注意力分数 |
|
||
| 重要性采样 | 粒子 | 重要性权重 |
|
||
| 后验粒子 | 参数样本 | 后验概率 |
|
||
| 求积规则 | 节点 | 求积权重 |
|
||
|
||
标准做法拟合 vMF 并报告 κ̂ → 仅捕获**一阶**（平均方向）信息。
|
||
|
||
## GID 的替代方案
|
||
|
||
对测度 P̂_w = Σ w_i δ_{x_i}，计算嵌套最大熵投影的**信息缺口**：
|
||
|
||
```
|
||
(I₁, I₂, ..., I_L) = GID(P̂_w)
|
||
```
|
||
|
||
这个**几何信息指纹**揭示了：
|
||
- 在什么层级结构出现
|
||
- vMF 是否足够（I₁ 主导，I₂≈0）
|
||
- 是否存在被低阶矩遮蔽的轴性/多模态结构（I₂ 或 I₃ 显著）
|
||
|
||
## 实验验证
|
||
|
||
- S¹ 和 S² 上的合成例子：vMF、反极点、腰带、四面体 → 各自在对应级别出现最大缺口
|
||
- 有限样本零校准：Theorem 8 的 χ² 近似准确，即使在小样本下
|
||
- Query-weighted digit projection：嵌入空间的方向不确定性诊断
|
||
|
||
## 参考
|
||
|
||
- [[geometric-information-decomposition|GID]]
|
||
- [[information-gap|Information Gap]]
|
||
- [[entropy-deficit|Entropy Deficit]]
|