2.1 KiB
2.1 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Blessing of Dimensionality (维度之福) | 2026-07-10 | 2026-07-10 | concept |
|
|
Blessing of Dimensionality (维度之福)
SMG 对经典"维数灾"的激进翻转——极限过参数化不是统计病理，而是使泛化学习成为可能的强制性拓扑润滑剂。
三维之福
SMG 证明了在无穷维 Orlicz 纤维丛中，过参数化提供三重恩赐：
-
全局平滑与优化自由：在无穷维环境空间 M 中，垂直纤维提供了巨大的连通拓扑水库。复杂优化瓶颈被平滑为高维谷，梯度下降获得近乎无限的自由度绕开局部障碍而不影响宏观输出。
-
机制与意义的解耦：极限维度使内部计算机制与外部语义信号完全解耦。纤维的无穷维吸收结构扰动和架构配置（IDoF），同时保持可观测统计投影锚定在稳定的低维基流形 B 上。
-
连续嵌入的吸收能力：Transformer 的潜在连续向量需要通过注意力层路由。超高维空间提供了最优拓扑宿主，使嵌入形成丰富的几何轨迹，可被安全解纠缠。
Occam 剃刀的拓扑解决
经典 AIC 按参数量 k 线性惩罚模型复杂性——在 k → ∞ 时崩溃。SMG 证明：
无穷参数被严格隔离在垂直 gauge 空间 Vf 中 → Fisher-Rao 度量下统计方差为零 → 真实经验复杂度仅由 dim(B) = d 约束。
过参数化模型并不违背 Occam 剃刀——纤维丛的几何自动过滤了无穷维度。
表示学习的 SMG 重定义
表示学习本质上是 Gauge-Filtered Projection。 过参数化权重空间提供数学灵活性吸收混沌数据，投影映射 π 剥离无穷维 gauge 冗余，剩余的是高度策展的低维水平子空间 SVDχ——几何明确决定语义输出。