1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 随机微分方程 (Stochastic Differential Equation) | 2026-06-17 | 2026-06-17 | concept |
|
|
high |
随机微分方程 (Stochastic Differential Equation)
SDE 是描述受随机噪声驱动的连续时间动态系统的数学框架，是 ticks-to-flows 论文的核心数学工具。
标准形式
dX_t = b(X_t) dt + σ(X_t) dW_t
b(X_t) dt：漂移项（drift），确定性的变化方向σ(X_t) dW_t：扩散项（diffusion），随机波动W_t：wiener-process（Brownian motion）
Itô 积分
SDE 的解通过 ito-calculus 定义：
X_t = X_0 + ∫_0^t b(X_l) dl + ∫_0^t σ(X_l) dW_l
在适当的条件（Lipschitz 连续 + 线性增长）下，解在概率意义下存在且唯一。
在强化学习中的应用
在 continuous-time-rl 中，SDE 用于建模：
- 环境转移：
ds_t = (g(s_t) + h(s_t)a_t)dt + σ(s_t)dW_t - 探索动力学：同时包含策略随机性和环境随机性
- 梯度时间动态：描述参数更新如何改变状态分布
关键性质
- 鞅性质：扩散项形成一个martingale-clt，可用于 CLT 分析
- Markov 性：未来仅依赖当前状态
- 无穷小生成元（infinitesimal generator）L^π 刻画函数沿轨道的瞬时变化