1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Mapping Theorem: 参数空间的低维映射存在性定理 | 2026-06-25 | 2026-06-25 | concept |
|
|
Mapping Theorem (映射定理)
Mapping Theorem 是 sen-mapping-networks 的理论基石,证明了从低维隐空间到高维参数空间的光滑映射的存在性,且该映射可在损失函数上任意逼近最优参数。
前提条件
- A1: 参数光滑性 — θ → f_θ(x) 是 L_θ-Lipschitz 的(对每个 x)
- A2: 损失 Lipschitz — L(·, y) 是 L_ℓ-Lipschitz 的
- A3: 局部可逼近性 — M_θ 是 C² 流形,有界曲率
- Weight-Manifold Hypothesis — θ* 位于 C² 嵌入流形 M_θ ⊂ R^P 上
定理陈述
对任意 ε > 0(满足 ε ≤ L_ℓ L_θ r),存在:
- δ > 0
- d ≥ d*(其中 d* = dim(M_θ))
- C² 映射 g: R^d → R^P
- 隐向量 z* ∈ R^d
使得:
\|g(z^*) - \theta^*\| \leq \delta, \quad |L(g(z^*)) - L(\theta^*)| \leq \varepsilon
证明概要
- 由 Weight-Manifold Hypothesis,∃ C² 微分同胚 φ: U → V ⊂ M_θ,φ(0) = θ*
- 构造全局映射 g(u) = ψ(u)φ(u) + (1 − ψ(u))θ*(smooth bump function 拼接)
- 由连续性,选 z* ∈ B(0, η) ∩ U,满足 ‖g(z*) − θ*‖ < δ
- 由 Lipschitz 条件:|L(g(z*)) − L(θ*)| ≤ L_ℓ L_θ · δ = ε
实际意义
该定理提供了架构设计的正确性保证:如果映射网络架构满足定理条件(如 solvability-theorem 所示),则理论上存在隐向量可生成与完整训练等效的参数。
参考
- weight-manifold-hypothesis
- solvability-theorem
- mapping-loss
- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Section 2.1