---
title: "Rademacher Complexity"
created: 2026-06-23
updated: 2026-06-23
type: concept
tags: ["learning-theory", "complexity-measure", "generalization"]
sources: ["Bartlett & Mendelson (2002)"]
---

# Rademacher Complexity

**Rademacher complexity** 是统计学习理论中度量假设类丰富度的核心工具。对于假设类 F 和样本 {x_i}ⁿ_{i=1}：

```
R_n(F) = E_{σ} [sup_{f∈F} (1/n) Σⁿ_{i=1} σ_i f(x_i)]
```

其中 σ_i 是独立 Rademacher 随机变量（±1 等概率）。

## 与 Gaussian Width 的关系

Rademacher 复杂度与 [[gaussian-width|Gaussian width]] 在常数因子内等价——它们是同一几何量的两种表述方式。Gaussian width 用高斯随机方向探测集合，Rademacher complexity 用 Rademacher 随机符号。

## 在泛化理论中的角色

对任意 δ > 0，以至少 1−δ 的概率：

```
sup_{f∈F} |Ê[f] − E[f]| ≤ 2R_n(F) + O(√(log(1/δ)/n))
```

是[[generalization-bounds|泛化界]]的标准推导起点。

## 参考

- [[gaussian-width|Gaussian Width]]
- [[generalization-bounds|Generalization Bounds]]
- [[fisher-lipschitz|Fisher-Lipschitz]]