1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Intrinsic Dimension: 参数空间的内在维度 | 2026-06-25 | 2026-06-25 | concept |
|
|
Intrinsic Dimension (内在维度)
Intrinsic Dimension (ID) of objective landscapes 指深度网络损失函数实际依赖的有效参数维度——通常远小于名义参数数量 P。
关键研究
Li et al. (2018) 发现：通过在随机低维子空间中优化（而非完整 P 维空间），深度网络仍能达到接近全参数训练的性能。这意味着：
\text{ID} \ll P
例如，某些任务上仅需几百个参数方向即可取得 90%+ 精度。
与 Weight-Manifold Hypothesis 的关联
ID 研究为 weight-manifold-hypothesis 提供了间接经验证据：
- 若参数空间的有效维度远小于 P，则参数很可能位于低维子流形上
- 这意味着训练中实际"探索"的自由度远小于参数总数
Mapping Networks 如何利用 ID
Mapping Networks 的隐向量维度 d 本质上是架构对 ID 的显式估计。通过在 d 维空间优化而非 P 维，直接将内在维度的理论洞察转化为架构设计。
参考
- Li et al., "Measuring the Intrinsic Dimension of Objective Landscapes", ICLR 2018
- loss-landscape
- manifold-hypothesis