31 lines
1.4 KiB
Markdown
31 lines
1.4 KiB
Markdown
---
|
||
title: "Manifold Hypothesis (流形假设)"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [manifold-learning, dimensionality-reduction, representation-learning]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Manifold Hypothesis (流形假设)
|
||
|
||
Manifold Hypothesis 是机器学习中的核心假设：**高维数据（如图像、文本）实际上分布在嵌入于高维空间中的低维流形上或附近**。
|
||
|
||
形式化：对 x ∈ X ⊂ R^D（高维输入空间），∃ M（低维流形），使得 M ⊂ X，且 d = dim(M) ≪ D。神经网络学习的是映射 f_θ: M → Y。
|
||
|
||
## 推广到参数空间
|
||
|
||
[[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 将这一假设从**数据空间**推广到**参数空间**：不仅数据在低维流形上，训练后的网络参数 θ* ∈ R^P 也位于低维流形 M_θ ⊂ R^P 上，其中 dim(M_θ) ≪ P。
|
||
|
||
## 经验证据
|
||
|
||
- **Intrinsic Dimension 研究**：深度网络的 objective landscape 的有效内在维度远低于参数总数（Li et al., 2018）
|
||
- **训练轨迹分析**：不同初始化、不同架构的深度网络的训练轨迹收敛到同一个低维流形（Mao et al., 2024）
|
||
- **Mode Connectivity**：SGD 解之间存在低损路径连接（Garipov et al., 2018）
|
||
|
||
## 参考
|
||
|
||
- Fefferman et al., "Testing the Manifold Hypothesis", JAMS 2016
|
||
- [[intrinsic-dimension]]
|
||
- [[loss-landscape]]
|