20260706:新增一些文章

concepts/hypernetworks.md

@@ -0,0 +1,40 @@
+---
+title: "HyperNetworks: 生成网络权重的元网络"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [meta-learning, weight-generation, neural-architecture]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# HyperNetworks
+
+HyperNetworks（超网络）是一类元学习架构：一个较小的网络（hypernetwork）生成另一个网络（target network）的权重，而非直接训练目标网络。
+
+## 核心机制
+
+典型公式：对目标网络第 j 层权重 W_j，由 hypernetwork h(·; φ) 生成：
+
+$$W_j = h(z_j; \phi)$$
+
+其中 z_j 是层次特定的隐编码（latent code）。
+
+## 与 Mapping Networks 的区别
+
+| 维度 | HyperNetworks | Mapping Networks |
+|------|--------------|------------------|
+| 目标网络训练 | 与 hypernetwork **同时训练** | **不训练**，仅前向 |
+| 参数缩减 | 有限（hypernetwork 本身也有参数） | 极显著（200-500×） |
+| 理论保证 | 无 | Mapping Theorem + Solvability Theorem |
+| 稳定性 | 可能不稳定 | Mapping Loss 强制 Lipschitz + C² 连续性 |
+
+## 变体
+
+- **Dynamic HyperNetworks**：根据输入条件动态生成权重
+- **Scale-Space HyperNetworks**：用于生物医学图像的高效分析
+- **Chunked HyperNetworks**：分块生成权重以处理大网络
+
+## 参考
+
+- Ha et al., "HyperNetworks", ICLR 2017
+- [[sen-mapping-networks|Mapping Networks]] — 提出者将 MN 定位为一种满足解析定理的新型 HyperNetwork