97 lines
3.5 KiB
Markdown
97 lines
3.5 KiB
Markdown
---
|
|
title: "Spurious Predictability in Financial Machine Learning"
|
|
created: 2026-04-20
|
|
updated: 2026-04-20
|
|
type: paper
|
|
tags: [statistics, machine-learning, finance, methodology, econometrics]
|
|
sources: [raw/papers/nikolopoulos-spurious-predictability-2026.md]
|
|
---
|
|
|
|
# Spurious Predictability in Financial Machine Learning
|
|
|
|
**arXiv:** 2604.15531 [q-fin.ST, stat.ME, stat.ML] · 2026-04-16
|
|
**作者:** Sotirios D. Nikolopoulos
|
|
**代码:** QuantAudit R package (待发布)
|
|
**DOI:** https://doi.org/10.48550/arXiv.2604.15531
|
|
|
|
## 核心问题
|
|
|
|
金融机器学习中普遍存在的**虚假可预测性 (Spurious Predictability)** 问题：自适应规范搜索（数据挖掘、模型选择、超参数调优）即使在底层数据生成过程没有真正预测结构的情况下，也能产生统计显著的 backtest 结果。
|
|
|
|
## 方法论贡献
|
|
|
|
### 1. 证伪审计 (Falsification Audit)
|
|
提出一个系统性的验证框架，测试完整预测工作流在合成参考类上的表现：
|
|
|
|
- **零可预测性环境**：模拟没有真正预测结构的数据
|
|
- **微观结构安慰剂**：包含真实但非预测性的市场微观结构特征
|
|
|
|
### 2. 选择诱导性能膨胀量化
|
|
对于通过证伪测试的工作流，量化模型选择引入的偏差：
|
|
|
|
- **样本内优化性能**：在训练数据上的表现
|
|
- **样本外验证性能**：在不相交的 walk-forward 数据上的表现
|
|
- **性能差距**：调整有效多重性后的绝对幅度差异
|
|
|
|
### 3. 有效多重性调整
|
|
考虑自适应搜索中相关搜索路径和模型规范间依赖关系的多重比较问题调整。
|
|
|
|
## 关键发现
|
|
|
|
### 虚假可预测性的来源
|
|
1. **自适应规范搜索**：数据挖掘、模型选择、超参数调优
|
|
2. **多重比较问题**：未调整的统计显著性检验
|
|
3. **过拟合**：样本内优化与样本外表现的差距
|
|
|
|
### 实证结果
|
|
案例研究证实，金融机器学习中的许多表面发现实际上是方法论伪影，而非真正的可预测性。
|
|
|
|
## 技术框架
|
|
|
|
### 统计方法
|
|
- **极值理论**：处理相关搜索的统计分布
|
|
- **有效多重性**：调整相关搜索路径的统计检验
|
|
- **Walk-forward 验证**：时间序列预测的稳健验证协议
|
|
|
|
### 仿真验证
|
|
通过仿真研究验证框架在不同数据生成过程下的检测能力。
|
|
|
|
## 实践意义
|
|
|
|
### 1. 方法论严谨性
|
|
需要建立稳健的验证框架，避免虚假发现。
|
|
|
|
### 2. 发表偏倚
|
|
类似其他经验科学，存在发表正面结果而忽略适当证伪的倾向。
|
|
|
|
### 3. 可重复性危机
|
|
金融机器学习面临与其他经验科学相似的可重复性挑战。
|
|
|
|
## 相关概念
|
|
|
|
- [[spurious-predictability]] - 虚假可预测性概念详解
|
|
- [[cramer-rao-lower-bound]] - 参数估计的理论下界
|
|
- [[computerized-adaptive-testing]] - 自适应测试方法论
|
|
- [[symbolic-regression]] - 发现数学表达式的机器学习技术
|
|
- [[formal-verification]] - 验证的形式化方法
|
|
|
|
## 资源链接
|
|
|
|
- **arXiv:** https://arxiv.org/abs/2604.15531
|
|
- **PDF:** https://arxiv.org/pdf/2604.15531
|
|
- **HTML:** https://arxiv.org/html/2604.15531v1
|
|
- **BibTeX:**
|
|
```bibtex
|
|
@article{nikolopoulos2026spurious,
|
|
title={Spurious Predictability in Financial Machine Learning},
|
|
author={Nikolopoulos, Sotirios D.},
|
|
journal={arXiv preprint arXiv:2604.15531},
|
|
year={2026}
|
|
}
|
|
```
|
|
|
|
## 延伸阅读
|
|
|
|
1. **金融机器学习方法论**：关于过拟合和虚假发现的文献综述
|
|
2. **多重比较问题**：在数据挖掘和机器学习中的统计调整方法
|
|
3. **可重复性研究**：经验科学中的可重复性危机及其解决方案 |