56 lines
1.7 KiB
Markdown
56 lines
1.7 KiB
Markdown
---
|
||
title: "随机微分方程 (Stochastic Differential Equation)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [mathematics, stochastic-processes, theory, probability]
|
||
sources: [raw/papers/tiwari-ticks-to-flows-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 随机微分方程 (Stochastic Differential Equation)
|
||
|
||
SDE 是描述**受随机噪声驱动的连续时间动态系统**的数学框架，是 [[ticks-to-flows|Tiwari et al. (2026)]] 论文的核心数学工具。
|
||
|
||
## 标准形式
|
||
|
||
```
|
||
dX_t = b(X_t) dt + σ(X_t) dW_t
|
||
```
|
||
|
||
- `b(X_t) dt`：**漂移项**（drift），确定性的变化方向
|
||
- `σ(X_t) dW_t`：**扩散项**（diffusion），随机波动
|
||
- `W_t`：[[wiener-process|Wiener 过程]]（Brownian motion）
|
||
|
||
## Itô 积分
|
||
|
||
SDE 的解通过 [[ito-calculus|Itô 积分]] 定义：
|
||
|
||
```
|
||
X_t = X_0 + ∫_0^t b(X_l) dl + ∫_0^t σ(X_l) dW_l
|
||
```
|
||
|
||
在适当的条件（Lipschitz 连续 + 线性增长）下，解在概率意义下存在且唯一。
|
||
|
||
## 在强化学习中的应用
|
||
|
||
在 [[continuous-time-rl|连续时间 RL]] 中，SDE 用于建模：
|
||
|
||
1. **环境转移**：`ds_t = (g(s_t) + h(s_t)a_t)dt + σ(s_t)dW_t`
|
||
2. **探索动力学**：同时包含策略随机性和环境随机性
|
||
3. **梯度时间动态**：描述参数更新如何改变状态分布
|
||
|
||
## 关键性质
|
||
|
||
- **鞅性质**：扩散项形成一个[[martingale-clt|鞅]]，可用于 CLT 分析
|
||
- **Markov 性**：未来仅依赖当前状态
|
||
- **无穷小生成元**（infinitesimal generator）L^π 刻画函数沿轨道的瞬时变化
|
||
|
||
## 参考
|
||
|
||
- [[wiener-process|维纳过程]]
|
||
- [[ito-calculus|Itô 微积分]]
|
||
- [[continuous-time-rl|连续时间 RL]]
|
||
- [[exploratory-dynamics|探索动力学]]
|
||
- [[ticks-to-flows|Ticks to Flows]]
|