37 lines
1.4 KiB
Markdown
37 lines
1.4 KiB
Markdown
---
|
||
title: "Intrinsic Dimension: 参数空间的内在维度"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [dimensionality-reduction, loss-landscape, manifold-learning]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Intrinsic Dimension (内在维度)
|
||
|
||
Intrinsic Dimension (ID) of objective landscapes 指深度网络损失函数实际依赖的有效参数维度——通常远小于名义参数数量 P。
|
||
|
||
## 关键研究
|
||
|
||
Li et al. (2018) 发现：通过在随机低维子空间中优化（而非完整 P 维空间），深度网络仍能达到接近全参数训练的性能。这意味着：
|
||
|
||
$$\text{ID} \ll P$$
|
||
|
||
例如，某些任务上仅需几百个参数方向即可取得 90%+ 精度。
|
||
|
||
## 与 Weight-Manifold Hypothesis 的关联
|
||
|
||
ID 研究为 [[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 提供了间接经验证据：
|
||
- 若参数空间的有效维度远小于 P，则参数很可能位于低维子流形上
|
||
- 这意味着训练中实际"探索"的自由度远小于参数总数
|
||
|
||
## Mapping Networks 如何利用 ID
|
||
|
||
Mapping Networks 的**隐向量维度 d** 本质上是架构对 ID 的显式估计。通过在 d 维空间优化而非 P 维，直接将内在维度的理论洞察转化为架构设计。
|
||
|
||
## 参考
|
||
|
||
- Li et al., "Measuring the Intrinsic Dimension of Objective Landscapes", ICLR 2018
|
||
- [[loss-landscape]]
|
||
- [[manifold-hypothesis]]
|