20260706:新增一些文章

concepts/manifold-hypothesis.md

@@ -0,0 +1,30 @@
+---
+title: "Manifold Hypothesis (流形假设)"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [manifold-learning, dimensionality-reduction, representation-learning]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Manifold Hypothesis (流形假设)
+
+Manifold Hypothesis 是机器学习中的核心假设：**高维数据（如图像、文本）实际上分布在嵌入于高维空间中的低维流形上或附近**。
+
+形式化：对 x ∈ X ⊂ R^D（高维输入空间），∃ M（低维流形），使得 M ⊂ X，且 d = dim(M) ≪ D。神经网络学习的是映射 f_θ: M → Y。
+
+## 推广到参数空间
+
+[[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 将这一假设从**数据空间**推广到**参数空间**：不仅数据在低维流形上，训练后的网络参数 θ* ∈ R^P 也位于低维流形 M_θ ⊂ R^P 上，其中 dim(M_θ) ≪ P。
+
+## 经验证据
+
+- **Intrinsic Dimension 研究**：深度网络的 objective landscape 的有效内在维度远低于参数总数（Li et al., 2018）
+- **训练轨迹分析**：不同初始化、不同架构的深度网络的训练轨迹收敛到同一个低维流形（Mao et al., 2024）
+- **Mode Connectivity**：SGD 解之间存在低损路径连接（Garipov et al., 2018）
+
+## 参考
+
+- Fefferman et al., "Testing the Manifold Hypothesis", JAMS 2016
+- [[intrinsic-dimension]]
+- [[loss-landscape]]