---
title: "HyperNetworks: 生成网络权重的元网络"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [meta-learning, weight-generation, neural-architecture]
sources: ["[[sen-mapping-networks]]"]
---

# HyperNetworks

HyperNetworks（超网络）是一类元学习架构：一个较小的网络（hypernetwork）生成另一个网络（target network）的权重，而非直接训练目标网络。

## 核心机制

典型公式：对目标网络第 j 层权重 W_j，由 hypernetwork h(·; φ) 生成：

$$W_j = h(z_j; \phi)$$

其中 z_j 是层次特定的隐编码（latent code）。

## 与 Mapping Networks 的区别

| 维度 | HyperNetworks | Mapping Networks |
|------|--------------|------------------|
| 目标网络训练 | 与 hypernetwork **同时训练** | **不训练**，仅前向 |
| 参数缩减 | 有限（hypernetwork 本身也有参数） | 极显著（200-500×） |
| 理论保证 | 无 | Mapping Theorem + Solvability Theorem |
| 稳定性 | 可能不稳定 | Mapping Loss 强制 Lipschitz + C² 连续性 |

## 变体

- **Dynamic HyperNetworks**：根据输入条件动态生成权重
- **Scale-Space HyperNetworks**：用于生物医学图像的高效分析
- **Chunked HyperNetworks**：分块生成权重以处理大网络

## 参考

- Ha et al., "HyperNetworks", ICLR 2017
- [[sen-mapping-networks|Mapping Networks]] — 提出者将 MN 定位为一种满足解析定理的新型 HyperNetwork