46 lines
1.7 KiB
Markdown
46 lines
1.7 KiB
Markdown
---
|
||
title: "Solvability Theorem: 加性调制映射网络的可解性"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [theorem, mapping-networks, weight-modulation, gradient-descent]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Solvability Theorem (可解性定理)
|
||
|
||
Solvability Theorem 证明 [[sen-mapping-networks|Mapping Networks]] 的实际架构设计——**加性调制 + 正交初始化**——确实满足 [[mapping-theorem|Mapping Theorem]] 的条件，即实际可解。
|
||
|
||
## 架构约束
|
||
|
||
- 映射网络权重 ω_0：正交初始化（固定，不可训练）
|
||
- 隐向量 z ∈ R^d：可训练
|
||
- 调制方式：ω(z) = ω_0 + M(z)，其中 M(z) = Bz（仿射调制）
|
||
- 映射网络：g_ω(z) := g_{ω(z)}(z) ∈ R^P
|
||
|
||
## 定理两部分
|
||
|
||
### Part 1: 局部可解性
|
||
|
||
存在 ε > 0，对残差 r_θ := θ* − g_{ω_0}(z_0)，若 ‖r_θ‖ ≤ ε，则 ∃ Δz 和常数 C > 0，使得：
|
||
|
||
$$\|\Delta z\| = O(\|r_\theta\|), \quad \|g_\omega(z_0 + \Delta z) - \theta^*\| \leq C\|r_\theta\|^2$$
|
||
|
||
因此 |L(g_ω(z_0 + Δz)) − L(θ*)| ≤ L_ℓ L_θ C‖r_θ‖²。
|
||
|
||
### Part 2: 全局延拓
|
||
|
||
对任意 ε > 0，∃ 常数 C_2, L_θ, L_ℓ, r > 0 和 z* ∈ R^d（可通过梯度优化获得），满足 ‖g_ω(z*) − θ*‖ ≤ δ 且 |L(g_ω(z*)) − L(θ*)| ≤ ε。
|
||
|
||
隐向量位移有界：‖Δz*‖ ≤ √(δ/C_2)。
|
||
|
||
## 关键洞察
|
||
|
||
该定理意味着：即使映射权重 ω 是**固定的**（正交初始化），仅通过调整低维隐向量 z，就足以逼近任意目标参数。这是 Mapping Networks 能实现 200-500× 参数缩减的理论基础。
|
||
|
||
## 参考
|
||
|
||
- [[mapping-theorem]]
|
||
- [[weight-modulation]]
|
||
- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Theorem 2
|