myWiki/concepts/gaussian-width.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Gaussian Width (高斯宽度)	2026-06-23	2026-06-23	concept	high-dimensional-probability convex-geometry complexity-measure learning-theory	https://arxiv.org/abs/2606.18306

Gaussian Width (高斯宽度)

Gaussian width 是高维概率论和凸几何中的核心复杂度度量。对于集合 T ⊂ ℝᵈ，定义为：

w(T) = E_{g∼N(0,I_d)} [sup_{v∈T} ⟨g, v⟩]

直觉

• 以随机高斯方向探测集合 T，取其最大投影，再对随机方向取期望
• 大宽度 → 集合在高维空间中"覆盖广" → 复杂度高
• 小宽度 → 集合集中在小范围 → 复杂度低

关键性质

1. 单调性：T₁ ⊆ T₂ ⇒ w(T₁) ≤ w(T₂)
2. 齐次性：w(aT) = |a|·w(T)
3. 凸包不变：w(conv(T)) = w(T)
4. 次可加性：w(T₁+T₂) ≤ w(T₁)+w(T₂)

在机器学习中的角色

Gaussian width 与 rademacher-complexity等价（常数级），是假设类泛化能力的核心度量：

• 压缩感知 (Chandrasekaran et al., 2012)：描述恢复相变
• 凸优化 (Amelunxen et al., 2014)：统计维度的几何刻画
• 经验过程 (Bartlett & Mendelson, 2002)：控制一致偏差

局限性

Gaussian width 本质上是欧几里得的——所有方向等权看待。当参数空间携带非平凡黎曼度量时（如统计模型中的 Fisher 信息度量），欧几里得宽度无法捕捉方向的统计敏感性差异。

fisher-width 将 Gaussian width 推广到statistical-manifold上。

参考

• statistical-manifold
• fisher-width
• generalization-bounds