myWiki/concepts/manifold-hypothesis.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Manifold Hypothesis (流形假设)	2026-06-25	2026-06-25	concept	manifold-learning dimensionality-reduction representation-learning	sen-mapping-networks

Manifold Hypothesis (流形假设)

Manifold Hypothesis 是机器学习中的核心假设：高维数据（如图像、文本）实际上分布在嵌入于高维空间中的低维流形上或附近。

形式化：对 x ∈ X ⊂ R^D（高维输入空间），∃ M（低维流形），使得 M ⊂ X，且 d = dim(M) ≪ D。神经网络学习的是映射 f_θ: M → Y。

推广到参数空间

weight-manifold-hypothesis 将这一假设从数据空间推广到参数空间：不仅数据在低维流形上，训练后的网络参数 θ* ∈ R^P 也位于低维流形 M_θ ⊂ R^P 上，其中 dim(M_θ) ≪ P。

经验证据

• Intrinsic Dimension 研究：深度网络的 objective landscape 的有效内在维度远低于参数总数（Li et al., 2018）
• 训练轨迹分析：不同初始化、不同架构的深度网络的训练轨迹收敛到同一个低维流形（Mao et al., 2024）
• Mode Connectivity：SGD 解之间存在低损路径连接（Garipov et al., 2018）

参考

• Fefferman et al., "Testing the Manifold Hypothesis", JAMS 2016
• intrinsic-dimension
• loss-landscape