---
title: "Intrinsic Dimension: 参数空间的内在维度"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [dimensionality-reduction, loss-landscape, manifold-learning]
sources: ["[[sen-mapping-networks]]"]
---

# Intrinsic Dimension (内在维度)

Intrinsic Dimension (ID) of objective landscapes 指深度网络损失函数实际依赖的有效参数维度——通常远小于名义参数数量 P。

## 关键研究

Li et al. (2018) 发现：通过在随机低维子空间中优化（而非完整 P 维空间），深度网络仍能达到接近全参数训练的性能。这意味着：

$$\text{ID} \ll P$$

例如，某些任务上仅需几百个参数方向即可取得 90%+ 精度。

## 与 Weight-Manifold Hypothesis 的关联

ID 研究为 [[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 提供了间接经验证据：
- 若参数空间的有效维度远小于 P，则参数很可能位于低维子流形上
- 这意味着训练中实际"探索"的自由度远小于参数总数

## Mapping Networks 如何利用 ID

Mapping Networks 的**隐向量维度 d** 本质上是架构对 ID 的显式估计。通过在 d 维空间优化而非 P 维，直接将内在维度的理论洞察转化为架构设计。

## 参考

- Li et al., "Measuring the Intrinsic Dimension of Objective Landscapes", ICLR 2018
- [[loss-landscape]]
- [[manifold-hypothesis]]