77 lines
3.5 KiB
Markdown
77 lines
3.5 KiB
Markdown
---
|
||
title: "Review: Fisher Width — 统计流形上的几何复杂度"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: review
|
||
tags: ["review", "information-geometry", "complexity-measure", "generalization-theory"]
|
||
paper: "vu-fisher-width-2026"
|
||
---
|
||
|
||
# Review: Fisher Width
|
||
|
||
> Vu Khac Ky, "Fisher Width: A Geometric Measure of Complexity on Statistical Manifolds", arXiv:2606.18306, 2026
|
||
|
||
---
|
||
|
||
## 📌 基本信息
|
||
|
||
- **论文**: Fisher Width: A Geometric Measure of Complexity on Statistical Manifolds
|
||
- **作者**: Vu Khac Ky (FPT University, Vietnam)
|
||
- **领域**: cs.LG / stat.ML — 信息几何 × 学习理论 × 高维概率
|
||
- **arXiv**: 2606.18306v1
|
||
- **添加时间**: 2026-06-23
|
||
|
||
---
|
||
|
||
## 🎯 核心概念
|
||
|
||
1. **Fisher Width** — Gaussian width 在统计流形上的 Fisher-几何对应物，通过局部 Fisher 度量 G(θ)^{1/2} 重标度方向，使宽度对统计曲率敏感
|
||
|
||
2. **Lifting Identity** — 中心结构定理：w_G(T;θ) = w(G(θ)^{1/2} T)，将 Fisher width 转化为 Fisher 重标度后集合的 Gaussian width
|
||
|
||
3. **Fisher-Lipschitz** — 假设类的 Fisher-几何光滑性条件，用 Fisher 度量替代欧几里得距离定义 Lipschitz 连续性
|
||
|
||
4. **Empirical Fisher** — 用样本分数构建经验 Fisher 矩阵，配合低秩近似使 Fisher width 在实践中可计算
|
||
|
||
5. **Gaussian Width** — 欧几里得复杂度度量的经典基础，Fisher width 的参照对象和性质来源
|
||
|
||
---
|
||
|
||
## 🔗 概念网络
|
||
|
||
**核心连接**：
|
||
```
|
||
fisher-width ←→ gaussian-width (通过 lifting-identity)
|
||
fisher-width ←→ statistical-manifold (几何载体)
|
||
fisher-width ←→ fisher-lipschitz (泛化界条件)
|
||
fisher-width ←→ empirical-fisher (计算实现)
|
||
fisher-width ←→ fisher-information-metric (度量来源)
|
||
```
|
||
|
||
**扩展网络**：
|
||
- 连接了 4 个已有概念: `fisher-information-metric`, `information-geometry`, `generalization-bounds`, `natural-gradient-descent`
|
||
- 连接了 `pac-bayesian-bounds` (间接)
|
||
- 新建 6 个概念页: `fisher-width`, `gaussian-width`, `statistical-manifold`, `fisher-lipschitz`, `lifting-identity`, `empirical-fisher`
|
||
|
||
---
|
||
|
||
## 📚 Wiki 集成
|
||
|
||
- **新增页面**: 7 个（1 论文 + 6 概念 + 1 Review）
|
||
- **论文页**: `papers/vu-fisher-width-2026.md`
|
||
- **概念页**: `fisher-width`, `gaussian-width`, `statistical-manifold`, `fisher-lipschitz`, `lifting-identity`, `empirical-fisher`
|
||
- **复用已有概念**: `fisher-information-metric`, `information-geometry`, `generalization-bounds`, `natural-gradient-descent`
|
||
- **网络完整**: 建立双向交叉引用，覆盖信息几何→复杂度度量→泛化理论的完整链路
|
||
|
||
---
|
||
|
||
## 💡 关键洞察
|
||
|
||
**1. "Fisher width 之于统计流形，正如 Gaussian width 之于欧几里得凸体"**
|
||
|
||
这是论文最简洁的自我定位，也是对信息几何和高维概率两个领域的**精确桥接**。此前这两个领域各自发展——Amari 的信息几何研究散度、投影、曲率；Vershynin 的高维概率研究 Gaussian width、浓度、chaining。Fisher width 通过 Lifting Identity 这一精巧结构，让 Gaussian width 的全部理论武器可被"搬运"到统计流形上。
|
||
|
||
**2. 从"平坦"到"弯曲"的复杂度度量范式转换**
|
||
|
||
传统学习理论（Rademacher 复杂度、Gaussian width、VC 维）默认参数空间是欧几里得的。但现代模型——从指数族到神经网络——天然携带 Fisher 度量。Fisher width 让复杂度度量**从模型几何中获得信息**：同一假设类在不同参数位置有不同的有效宽度，统计上敏感的方向贡献更多。这打开了"几何感知的泛化理论"方向。
|