39 lines
1.1 KiB
Markdown
39 lines
1.1 KiB
Markdown
---
|
||
title: "Rademacher Complexity"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: ["learning-theory", "complexity-measure", "generalization"]
|
||
sources: ["Bartlett & Mendelson (2002)"]
|
||
---
|
||
|
||
# Rademacher Complexity
|
||
|
||
**Rademacher complexity** 是统计学习理论中度量假设类丰富度的核心工具。对于假设类 F 和样本 {x_i}ⁿ_{i=1}：
|
||
|
||
```
|
||
R_n(F) = E_{σ} [sup_{f∈F} (1/n) Σⁿ_{i=1} σ_i f(x_i)]
|
||
```
|
||
|
||
其中 σ_i 是独立 Rademacher 随机变量（±1 等概率）。
|
||
|
||
## 与 Gaussian Width 的关系
|
||
|
||
Rademacher 复杂度与 [[gaussian-width|Gaussian width]] 在常数因子内等价——它们是同一几何量的两种表述方式。Gaussian width 用高斯随机方向探测集合，Rademacher complexity 用 Rademacher 随机符号。
|
||
|
||
## 在泛化理论中的角色
|
||
|
||
对任意 δ > 0，以至少 1−δ 的概率：
|
||
|
||
```
|
||
sup_{f∈F} |Ê[f] − E[f]| ≤ 2R_n(F) + O(√(log(1/δ)/n))
|
||
```
|
||
|
||
是[[generalization-bounds|泛化界]]的标准推导起点。
|
||
|
||
## 参考
|
||
|
||
- [[gaussian-width|Gaussian Width]]
|
||
- [[generalization-bounds|Generalization Bounds]]
|
||
- [[fisher-lipschitz|Fisher-Lipschitz]]
|