59 lines
3.4 KiB
Markdown
59 lines
3.4 KiB
Markdown
---
|
||
title: "Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches"
|
||
created: 2026-06-16
|
||
updated: 2026-06-16
|
||
type: paper
|
||
tags: [survey, temporal-point-process, bayesian, deep-learning, llm]
|
||
sources: [raw/papers/advances-temporal-point-processes-2026.md]
|
||
---
|
||
|
||
# Advances in Temporal Point Processes
|
||
|
||
**作者:** Feng Zhou, Quyu Kong, Jie Qiao, Cheng Wan, Yixuan Zhang, Ruichu Cai
|
||
**发表:** TMLR, 2026年6月
|
||
**来源:** [OpenReview](https://openreview.net/forum?id=SXgGKkShhT) | [原始存档](raw/papers/advances-temporal-point-processes-2026.md)
|
||
|
||
## 核心问题
|
||
|
||
如何用统一的视角理解时间点过程（TPP）从传统统计到深度学习再到LLM时代的演进？本文是首篇同时覆盖 Bayesian、Neural、LLM 三大范式的综述，尤其弥补了 Bayesian nonparametric TPP 被忽视的历史，以及 LLM-based TPP 尚未被系统综述的空白。
|
||
|
||
## 方法贡献
|
||
|
||
论文构建了一个清晰的三维分类法：
|
||
|
||
1. **Bayesian TPPs** — 参数化贝叶斯方法 + 非参数贝叶斯方法（GP-modulated Poisson、非参数 Hawkes）
|
||
2. **Neural TPPs** — RNN-based → Transformer-based → Diffusion-based，以及四种参数化选择（强度函数、密度函数、累积强度、逆CDF）
|
||
3. **LLM-based TPPs** — LLM-inspired（PromptTPP、LAMP）vs Direct Integration（TPP-LLM、Language-TPP）
|
||
|
||
训练方法方面系统比较了 MLE、Wasserstein、NCE、Score Matching 四种目标函数的统计效率与计算开销。
|
||
|
||
## 关键发现
|
||
|
||
- **Neural TPP 在下一事件预测上普遍优于经典参数模型**，但在长程预测中自回归误差累积仍是瓶颈
|
||
- **Intensity-free 参数化**（直接建模条件密度/累积强度）通常比 intensity-based 方法训练效率更高
|
||
- **LLM-based TPP** 在语义理解任务上有优势，但在纯时间预测 benchmark 上优势不明显——研究重点正从"事件发生过程建模"转向"带时间戳事件数据理解"
|
||
- **扩散模型** 为非自回归序列生成提供了新范式，但存在时序一致性弱和训练成本高的问题
|
||
|
||
## 核心概念
|
||
|
||
- [[temporal-point-process|时间点过程]] — 建模连续时间事件序列的随机过程
|
||
- [[conditional-intensity-function|条件强度函数]] — TPP 的核心数学工具
|
||
- [[hawkes-process|Hawkes 过程]] — 自激励过程模型
|
||
- [[neural-temporal-point-process|神经时间点过程]] — 深度学习驱动的 TPP
|
||
- [[bayesian-nonparametric-tpp|贝叶斯非参数 TPP]] — 灵活的非参数先验
|
||
- [[llm-based-temporal-point-process|LLM 时间点过程]] — 大语言模型驱动的 TPP
|
||
- [[marked-temporal-point-process|标记时间点过程]] — 多类型事件 TPP
|
||
- [[granger-causality-tpp|Granger 因果发现]] — TPP 中的因果推断
|
||
- [[intensity-free-modeling|Intensity-free 建模]] — 绕过强度积分的参数化
|
||
- [[diffusion-based-tpp|扩散时间点过程]] — 扩散生成式 TPP
|
||
- [[tpp-training-methods|TPP 训练方法]] — MLE、NCE、Score Matching
|
||
- [[tpp-applications|TPP 应用场景]] — 社交网络、金融、神经科学
|
||
|
||
## 挑战与展望
|
||
|
||
- 数据异构性：缺乏标准化 benchmark，数据预处理差异导致不可复现
|
||
- 模型可解释性：神经 TPP 的隐式表征难以对应物理意义
|
||
- 可扩展性：长序列 + 连续时间积分的双重计算瓶颈
|
||
- 采样效率：thinning 等方法需反复评估强度函数
|
||
- 多模态建模：连续时间表征与离散模态（文本、图像）的融合仍是开放问题
|