42 lines
2.1 KiB
Markdown
42 lines
2.1 KiB
Markdown
---
|
||
title: "Blessing of Dimensionality (维度之福)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["over-parameterization", "smg", "optimization-landscape", "representation-learning"]
|
||
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
|
||
---
|
||
|
||
# Blessing of Dimensionality (维度之福)
|
||
|
||
SMG 对经典"维数灾"的**激进翻转**——极限过参数化不是统计病理，而是使泛化学习成为可能的**强制性拓扑润滑剂**。
|
||
|
||
## 三维之福
|
||
|
||
SMG 证明了在无穷维 Orlicz 纤维丛中，过参数化提供三重恩赐：
|
||
|
||
1. **全局平滑与优化自由**：在无穷维环境空间 M 中，垂直纤维提供了巨大的连通拓扑水库。复杂优化瓶颈被平滑为高维谷，梯度下降获得**近乎无限的自由度**绕开局部障碍而不影响宏观输出。
|
||
|
||
2. **机制与意义的解耦**：极限维度使内部计算机制与外部语义信号**完全解耦**。纤维的无穷维吸收结构扰动和架构配置（IDoF），同时保持可观测统计投影锚定在稳定的低维基流形 B 上。
|
||
|
||
3. **连续嵌入的吸收能力**：Transformer 的潜在连续向量需要通过注意力层路由。超高维空间提供了最优拓扑宿主，使嵌入形成丰富的几何轨迹，可被安全解纠缠。
|
||
|
||
## Occam 剃刀的拓扑解决
|
||
|
||
经典 AIC 按参数量 k 线性惩罚模型复杂性——在 k → ∞ 时崩溃。SMG 证明：
|
||
|
||
> 无穷参数被严格隔离在垂直 gauge 空间 Vf 中 → Fisher-Rao 度量下统计方差为零 → 真实经验复杂度仅由 dim(B) = d 约束。
|
||
|
||
过参数化模型并不违背 Occam 剃刀——纤维丛的几何**自动过滤**了无穷维度。
|
||
|
||
## 表示学习的 SMG 重定义
|
||
|
||
> 表示学习本质上是 **Gauge-Filtered Projection**。
|
||
> 过参数化权重空间提供数学灵活性吸收混沌数据，投影映射 π 剥离无穷维 gauge 冗余，剩余的是高度策展的低维水平子空间 SVDχ——几何明确决定语义输出。
|
||
|
||
## 参考
|
||
|
||
- [[statistically-meaningful-geometry|SMG]]
|
||
- [[orlicz-statistical-manifold|Orlicz Statistical Manifold]]
|
||
- [[structural-internal-directions|SID]]
|