50 lines
1.7 KiB
Markdown
50 lines
1.7 KiB
Markdown
---
|
||
title: "Gaussian Width (高斯宽度)"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: ["high-dimensional-probability", "convex-geometry", "complexity-measure", "learning-theory"]
|
||
sources: ["https://arxiv.org/abs/2606.18306"]
|
||
---
|
||
|
||
# Gaussian Width (高斯宽度)
|
||
|
||
**Gaussian width** 是高维概率论和凸几何中的核心复杂度度量。对于集合 T ⊂ ℝᵈ，定义为：
|
||
|
||
```
|
||
w(T) = E_{g∼N(0,I_d)} [sup_{v∈T} ⟨g, v⟩]
|
||
```
|
||
|
||
## 直觉
|
||
|
||
- 以**随机高斯方向**探测集合 T，取其最大投影，再对随机方向取期望
|
||
- 大宽度 → 集合在高维空间中"覆盖广" → 复杂度高
|
||
- 小宽度 → 集合集中在小范围 → 复杂度低
|
||
|
||
## 关键性质
|
||
|
||
1. **单调性**：T₁ ⊆ T₂ ⇒ w(T₁) ≤ w(T₂)
|
||
2. **齐次性**：w(aT) = |a|·w(T)
|
||
3. **凸包不变**：w(conv(T)) = w(T)
|
||
4. **次可加性**：w(T₁+T₂) ≤ w(T₁)+w(T₂)
|
||
|
||
## 在机器学习中的角色
|
||
|
||
Gaussian width 与 [[rademacher-complexity|Rademacher 复杂度]]等价（常数级），是假设类泛化能力的核心度量：
|
||
|
||
- **压缩感知** (Chandrasekaran et al., 2012)：描述恢复相变
|
||
- **凸优化** (Amelunxen et al., 2014)：统计维度的几何刻画
|
||
- **经验过程** (Bartlett & Mendelson, 2002)：控制一致偏差
|
||
|
||
## 局限性
|
||
|
||
Gaussian width 本质上是**欧几里得**的——所有方向等权看待。当参数空间携带非平凡黎曼度量时（如统计模型中的 Fisher 信息度量），欧几里得宽度无法捕捉方向的统计敏感性差异。
|
||
|
||
[[fisher-width|Fisher Width]] 将 Gaussian width 推广到[[statistical-manifold|统计流形]]上。
|
||
|
||
## 参考
|
||
|
||
- [[statistical-manifold|Statistical Manifold]]
|
||
- [[fisher-width|Fisher Width]]
|
||
- [[generalization-bounds|Generalization Bounds]]
|