Files
myWiki/concepts/mapping-theorem.md

1.8 KiB
Raw Permalink Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
Mapping Theorem: 参数空间的低维映射存在性定理 2026-06-25 2026-06-25 concept
theorem
manifold-learning
mapping-networks
existence-proof
sen-mapping-networks

Mapping Theorem (映射定理)

Mapping Theorem 是 sen-mapping-networks 的理论基石,证明了从低维隐空间到高维参数空间的光滑映射的存在性,且该映射可在损失函数上任意逼近最优参数。

前提条件

  1. A1: 参数光滑性 — θ → f_θ(x) 是 L_θ-Lipschitz 的(对每个 x
  2. A2: 损失 Lipschitz — L(·, y) 是 L_-Lipschitz 的
  3. A3: 局部可逼近性 — M_θ 是 C² 流形,有界曲率
  4. Weight-Manifold Hypothesis — θ* 位于 C² 嵌入流形 M_θ ⊂ R^P 上

定理陈述

对任意 ε > 0满足 ε ≤ L_ L_θ r存在

  • δ > 0
  • d ≥ d*(其中 d* = dim(M_θ)
  • C² 映射 g: R^d → R^P
  • 隐向量 z* ∈ R^d

使得:

\|g(z^*) - \theta^*\| \leq \delta, \quad |L(g(z^*)) - L(\theta^*)| \leq \varepsilon

证明概要

  1. 由 Weight-Manifold Hypothesis∃ C² 微分同胚 φ: U → V ⊂ M_θφ(0) = θ*
  2. 构造全局映射 g(u) = ψ(u)φ(u) + (1 ψ(u))θ*smooth bump function 拼接)
  3. 由连续性,选 z* ∈ B(0, η) ∩ U满足 ‖g(z*) θ*‖ < δ
  4. 由 Lipschitz 条件:|L(g(z*)) L(θ*)| ≤ L_ L_θ · δ = ε

实际意义

该定理提供了架构设计的正确性保证:如果映射网络架构满足定理条件(如 solvability-theorem 所示),则理论上存在隐向量可生成与完整训练等效的参数。

参考