41 lines
1.4 KiB
Markdown
41 lines
1.4 KiB
Markdown
---
|
||
title: "HyperNetworks: 生成网络权重的元网络"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [meta-learning, weight-generation, neural-architecture]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# HyperNetworks
|
||
|
||
HyperNetworks（超网络）是一类元学习架构：一个较小的网络（hypernetwork）生成另一个网络（target network）的权重，而非直接训练目标网络。
|
||
|
||
## 核心机制
|
||
|
||
典型公式：对目标网络第 j 层权重 W_j，由 hypernetwork h(·; φ) 生成：
|
||
|
||
$$W_j = h(z_j; \phi)$$
|
||
|
||
其中 z_j 是层次特定的隐编码（latent code）。
|
||
|
||
## 与 Mapping Networks 的区别
|
||
|
||
| 维度 | HyperNetworks | Mapping Networks |
|
||
|------|--------------|------------------|
|
||
| 目标网络训练 | 与 hypernetwork **同时训练** | **不训练**，仅前向 |
|
||
| 参数缩减 | 有限（hypernetwork 本身也有参数） | 极显著（200-500×） |
|
||
| 理论保证 | 无 | Mapping Theorem + Solvability Theorem |
|
||
| 稳定性 | 可能不稳定 | Mapping Loss 强制 Lipschitz + C² 连续性 |
|
||
|
||
## 变体
|
||
|
||
- **Dynamic HyperNetworks**：根据输入条件动态生成权重
|
||
- **Scale-Space HyperNetworks**：用于生物医学图像的高效分析
|
||
- **Chunked HyperNetworks**：分块生成权重以处理大网络
|
||
|
||
## 参考
|
||
|
||
- Ha et al., "HyperNetworks", ICLR 2017
|
||
- [[sen-mapping-networks|Mapping Networks]] — 提出者将 MN 定位为一种满足解析定理的新型 HyperNetwork
|