20260617:目前有914 页
This commit is contained in:
61
concepts/neural-temporal-point-process.md
Normal file
61
concepts/neural-temporal-point-process.md
Normal file
@@ -0,0 +1,61 @@
|
||||
---
|
||||
title: "神经时间点过程 (Neural TPP)"
|
||||
created: 2026-06-16
|
||||
updated: 2026-06-16
|
||||
type: concept
|
||||
tags: [temporal-point-process, deep-learning, neural-network]
|
||||
sources: [raw/papers/advances-temporal-point-processes-2026.md]
|
||||
---
|
||||
|
||||
# 神经时间点过程 (Neural TPP)
|
||||
|
||||
神经 TPP 利用深度神经网络增强 TPP 的表达能力,用隐向量编码事件历史,然后参数化下一事件的条件分布。
|
||||
|
||||
## 三大架构演进
|
||||
|
||||
### 1. RNN-based TPP
|
||||
|
||||
最早范式 (Du et al., 2016; Mei & Eisner, 2017)。RNN/LSTM 编码事件历史 `(t_1,...,t_n)` 为隐状态 `h_n`,然后:
|
||||
```
|
||||
lambda*(t) = softplus(w^T h_n + b*(t-t_n))
|
||||
```
|
||||
|
||||
- 优点:自然处理变长序列,在线预测
|
||||
- 缺点:难以捕捉长程依赖,历史编码压缩在单一向量中
|
||||
|
||||
### 2. Transformer-based TPP(自回归)
|
||||
|
||||
自注意力机制直接建模所有历史事件对下一事件的共同影响 (Zhang et al., 2020):
|
||||
|
||||
- **Self-Attentive Hawkes Process (SAHP)**:用注意力权重替代 Hawkes 的显式触发函数,提供可解释的事件重要性
|
||||
- **Transformer Hawkes Process (THP)**:标准 Transformer 编码器提取历史表征
|
||||
- **Sparse Transformer Hawkes**:稀疏注意力处理长序列效率问题
|
||||
|
||||
### 3. Diffusion-based TPP
|
||||
|
||||
扩散模型将事件序列生成建模为迭代去噪过程 (Lüdke et al., 2023):
|
||||
|
||||
- **优势**:非自回归生成,批量化长程预测,避免误差累积
|
||||
- **劣势**:时序一致性弱,训练/推理成本高,缺乏显式似然
|
||||
|
||||
## 四种参数化选择
|
||||
|
||||
所有神经 TPP 最终需要选择如何表示下一事件的条件分布:
|
||||
|
||||
| 参数化 | 方法 | 数值积分 | 采样 |
|
||||
|--------|------|---------|------|
|
||||
| 条件强度 `lambda*` | ReLU/softplus/exp | 需要 Monte Carlo | thinning |
|
||||
| 条件密度 `f(t|H)` | 混合对数正态 | 不需要 | 直接采样 |
|
||||
| 累积强度 `Lambda*` | 单调网络/样条 | 不需要 | 逆变换 |
|
||||
| 逆 CDF `F^{-1}` | 单调有理二次样条 | 不需要 | 高效采样 |
|
||||
|
||||
Intensity-free 方法(后三种)避免了 `∫ lambda*` 的数值积分——见 [[intensity-free-modeling|intensity-free 建模]]。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[temporal-point-process|时间点过程]]
|
||||
- [[conditional-intensity-function|条件强度函数]]
|
||||
- [[intensity-free-modeling|Intensity-free 建模]]
|
||||
- [[diffusion-based-tpp|扩散 TPP]]
|
||||
- [[tpp-training-methods|TPP 训练方法]]
|
||||
- [[advances-temporal-point-processes-2026|TPP 综述]]
|
||||
Reference in New Issue
Block a user