1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| HyperNetworks: 生成网络权重的元网络 | 2026-06-25 | 2026-06-25 | concept |
|
|
HyperNetworks
HyperNetworks（超网络）是一类元学习架构：一个较小的网络（hypernetwork）生成另一个网络（target network）的权重，而非直接训练目标网络。
核心机制
典型公式：对目标网络第 j 层权重 W_j，由 hypernetwork h(·; φ) 生成：
W_j = h(z_j; \phi)
其中 z_j 是层次特定的隐编码（latent code）。
与 Mapping Networks 的区别
| 维度 | HyperNetworks | Mapping Networks |
|---|---|---|
| 目标网络训练 | 与 hypernetwork 同时训练 | 不训练，仅前向 |
| 参数缩减 | 有限（hypernetwork 本身也有参数） | 极显著（200-500×） |
| 理论保证 | 无 | Mapping Theorem + Solvability Theorem |
| 稳定性 | 可能不稳定 | Mapping Loss 强制 Lipschitz + C² 连续性 |
变体
- Dynamic HyperNetworks：根据输入条件动态生成权重
- Scale-Space HyperNetworks：用于生物医学图像的高效分析
- Chunked HyperNetworks：分块生成权重以处理大网络
参考
- Ha et al., "HyperNetworks", ICLR 2017
- sen-mapping-networks — 提出者将 MN 定位为一种满足解析定理的新型 HyperNetwork