Files
myWiki/concepts/statistically-meaningful-geometry.md
2026-07-20 14:14:55 +08:00

2.4 KiB
Raw Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
Statistically Meaningful Geometry (SMG, 统计意义几何) 2026-07-10 2026-07-10 concept
information-geometry
fiber-bundle
over-parameterization
differential-geometry
generative-ai
smg-framework-2026

Statistically Meaningful Geometry (SMG)

SMG 是 Cheng, Niu, Tong & Yau (2026) 提出的信息几何新范式,将过参数化模型的统计推断从平坦欧几里得容器升级为无穷维非参数统计纤维丛。

核心理念

传统统计和信息几何将参数空间视为被动欧几里得容器——当 p → ∞ 时崩溃。SMG 将其替换为主动流形:空间的几何结构主动决定统计结果的合法性、可验证性和优化路径。

四大公理

公理 含义
System Set S 系统的高维/无穷维内部配置空间Ambient Optimization Reservoir
Environment Set E 可测样本空间 (X, Σ),满足测度论完备性
Structural Mechanism F 满射 F: S → M将内部配置映射到概率密度
Invariance Principle 统计推断必须在 F 的纤维内部变换下不变——纯 SID 内移动 = 零信息变化

SMG 纤维丛

Total Space M (无穷维 Orlicz 流形)
      │ π (投影)
      ▼
Base Manifold B (有限维可识别宏观统计轮廓)
      │
      ├─ Vertical Fiber F_p = π⁻¹(p) — SID内部自由度
      └─ Horizontal Distribution H_f — SVDχ统计可验证方向

三大贡献

  1. Quarantining Theorem:正交度量分解 Tf M = Hf ⊕ Vf垂直 gauge 噪声与水平统计信号严格隔离
  2. Capacity Collapse Theorem:尽管参数量无限,泛化误差仅由基空间 B 的有限度量体积约束
  3. SMG Sequential Adaptation Flow:灾难性遗忘的非渐近完全消除

与传统框架的关系

框架 空间 维度 核心问题
经典统计 Rp 有限 维数灾
Amari 信息几何 参数流形 有限 无法处理过参数化
SMG 无穷维 Orlicz 丛 垂直 gauge 过滤 + 水平统计

参考