62 lines
2.4 KiB
Markdown
62 lines
2.4 KiB
Markdown
---
|
||
title: "神经时间点过程 (Neural TPP)"
|
||
created: 2026-06-16
|
||
updated: 2026-06-16
|
||
type: concept
|
||
tags: [temporal-point-process, deep-learning, neural-network]
|
||
sources: [raw/papers/advances-temporal-point-processes-2026.md]
|
||
---
|
||
|
||
# 神经时间点过程 (Neural TPP)
|
||
|
||
神经 TPP 利用深度神经网络增强 TPP 的表达能力，用隐向量编码事件历史，然后参数化下一事件的条件分布。
|
||
|
||
## 三大架构演进
|
||
|
||
### 1. RNN-based TPP
|
||
|
||
最早范式 (Du et al., 2016; Mei & Eisner, 2017)。RNN/LSTM 编码事件历史 `(t_1,...,t_n)` 为隐状态 `h_n`，然后：
|
||
```
|
||
lambda*(t) = softplus(w^T h_n + b*(t-t_n))
|
||
```
|
||
|
||
- 优点：自然处理变长序列，在线预测
|
||
- 缺点：难以捕捉长程依赖，历史编码压缩在单一向量中
|
||
|
||
### 2. Transformer-based TPP（自回归）
|
||
|
||
自注意力机制直接建模所有历史事件对下一事件的共同影响 (Zhang et al., 2020)：
|
||
|
||
- **Self-Attentive Hawkes Process (SAHP)**：用注意力权重替代 Hawkes 的显式触发函数，提供可解释的事件重要性
|
||
- **Transformer Hawkes Process (THP)**：标准 Transformer 编码器提取历史表征
|
||
- **Sparse Transformer Hawkes**：稀疏注意力处理长序列效率问题
|
||
|
||
### 3. Diffusion-based TPP
|
||
|
||
扩散模型将事件序列生成建模为迭代去噪过程 (Lüdke et al., 2023)：
|
||
|
||
- **优势**：非自回归生成，批量化长程预测，避免误差累积
|
||
- **劣势**：时序一致性弱，训练/推理成本高，缺乏显式似然
|
||
|
||
## 四种参数化选择
|
||
|
||
所有神经 TPP 最终需要选择如何表示下一事件的条件分布：
|
||
|
||
| 参数化 | 方法 | 数值积分 | 采样 |
|
||
|--------|------|---------|------|
|
||
| 条件强度 `lambda*` | ReLU/softplus/exp | 需要 Monte Carlo | thinning |
|
||
| 条件密度 `f(t|H)` | 混合对数正态 | 不需要 | 直接采样 |
|
||
| 累积强度 `Lambda*` | 单调网络/样条 | 不需要 | 逆变换 |
|
||
| 逆 CDF `F^{-1}` | 单调有理二次样条 | 不需要 | 高效采样 |
|
||
|
||
Intensity-free 方法（后三种）避免了 `∫ lambda*` 的数值积分——见 [[intensity-free-modeling|intensity-free 建模]]。
|
||
|
||
## 参考
|
||
|
||
- [[temporal-point-process|时间点过程]]
|
||
- [[conditional-intensity-function|条件强度函数]]
|
||
- [[intensity-free-modeling|Intensity-free 建模]]
|
||
- [[diffusion-based-tpp|扩散 TPP]]
|
||
- [[tpp-training-methods|TPP 训练方法]]
|
||
- [[advances-temporal-point-processes-2026|TPP 综述]]
|