Rademacher Complexity

Rademacher complexity 是统计学习理论中度量假设类丰富度的核心工具。对于假设类 F 和样本 {x_i}ⁿ_{i=1}：

R_n(F) = E_{σ} [sup_{f∈F} (1/n) Σⁿ_{i=1} σ_i f(x_i)]

其中 σ_i 是独立 Rademacher 随机变量（±1 等概率）。

与 Gaussian Width 的关系

Rademacher 复杂度与 gaussian-width 在常数因子内等价——它们是同一几何量的两种表述方式。Gaussian width 用高斯随机方向探测集合，Rademacher complexity 用 Rademacher 随机符号。

对任意 δ > 0，以至少 1−δ 的概率：

sup_{f∈F} |Ê[f] − E[f]| ≤ 2R_n(F) + O(√(log(1/δ)/n))

是generalization-bounds的标准推导起点。