myWiki/concepts/solvability-theorem.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Solvability Theorem: 加性调制映射网络的可解性	2026-06-25	2026-06-25	concept	theorem mapping-networks weight-modulation gradient-descent	sen-mapping-networks

Solvability Theorem (可解性定理)

Solvability Theorem 证明 sen-mapping-networks 的实际架构设计——加性调制 + 正交初始化——确实满足 mapping-theorem 的条件，即实际可解。

架构约束

• 映射网络权重 ω_0：正交初始化（固定，不可训练）
• 隐向量 z ∈ R^d：可训练
• 调制方式：ω(z) = ω_0 + M(z)，其中 M(z) = Bz（仿射调制）
• 映射网络：g_ω(z) := g_{ω(z)}(z) ∈ R^P

定理两部分

Part 1: 局部可解性

存在 ε > 0，对残差 r_θ := θ* − g_{ω_0}(z_0)，若 ‖r_θ‖ ≤ ε，则 ∃ Δz 和常数 C > 0，使得：

\|\Delta z\| = O(\|r_\theta\|), \quad \|g_\omega(z_0 + \Delta z) - \theta^*\| \leq C\|r_\theta\|^2

因此 |L(g_ω(z_0 + Δz)) − L(θ*)| ≤ L_ℓ L_θ C‖r_θ‖²。

Part 2: 全局延拓

对任意 ε > 0，∃ 常数 C_2, L_θ, L_ℓ, r > 0 和 z* ∈ R^d（可通过梯度优化获得），满足 ‖g_ω(z*) − θ*‖ ≤ δ 且 |L(g_ω(z*)) − L(θ*)| ≤ ε。

隐向量位移有界：‖Δz*‖ ≤ √(δ/C_2)。

关键洞察

该定理意味着：即使映射权重 ω 是固定的（正交初始化），仅通过调整低维隐向量 z，就足以逼近任意目标参数。这是 Mapping Networks 能实现 200-500× 参数缩减的理论基础。

参考

• mapping-theorem
• weight-modulation
• Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Theorem 2