20260625:很多新内容

concepts/rademacher-complexity.md

@@ -0,0 +1,38 @@
+---
+title: "Rademacher Complexity"
+created: 2026-06-23
+updated: 2026-06-23
+type: concept
+tags: ["learning-theory", "complexity-measure", "generalization"]
+sources: ["Bartlett & Mendelson (2002)"]
+---
+
+# Rademacher Complexity
+
+**Rademacher complexity** 是统计学习理论中度量假设类丰富度的核心工具。对于假设类 F 和样本 {x_i}ⁿ_{i=1}：
+
+```
+R_n(F) = E_{σ} [sup_{f∈F} (1/n) Σⁿ_{i=1} σ_i f(x_i)]
+```
+
+其中 σ_i 是独立 Rademacher 随机变量（±1 等概率）。
+
+## 与 Gaussian Width 的关系
+
+Rademacher 复杂度与 [[gaussian-width|Gaussian width]] 在常数因子内等价——它们是同一几何量的两种表述方式。Gaussian width 用高斯随机方向探测集合，Rademacher complexity 用 Rademacher 随机符号。
+
+## 在泛化理论中的角色
+
+对任意 δ > 0，以至少 1−δ 的概率：
+
+```
+sup_{f∈F} |Ê[f] − E[f]| ≤ 2R_n(F) + O(√(log(1/δ)/n))
+```
+
+是[[generalization-bounds|泛化界]]的标准推导起点。
+
+## 参考
+
+- [[gaussian-width|Gaussian Width]]
+- [[generalization-bounds|Generalization Bounds]]
+- [[fisher-lipschitz|Fisher-Lipschitz]]