3.4 KiB
3.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches | 2026-06-16 | 2026-06-16 | paper |
|
|
Advances in Temporal Point Processes
作者: Feng Zhou, Quyu Kong, Jie Qiao, Cheng Wan, Yixuan Zhang, Ruichu Cai
发表: TMLR, 2026年6月
来源: OpenReview | 原始存档
核心问题
如何用统一的视角理解时间点过程（TPP）从传统统计到深度学习再到LLM时代的演进？本文是首篇同时覆盖 Bayesian、Neural、LLM 三大范式的综述，尤其弥补了 Bayesian nonparametric TPP 被忽视的历史，以及 LLM-based TPP 尚未被系统综述的空白。
方法贡献
论文构建了一个清晰的三维分类法：
- Bayesian TPPs — 参数化贝叶斯方法 + 非参数贝叶斯方法（GP-modulated Poisson、非参数 Hawkes）
- Neural TPPs — RNN-based → Transformer-based → Diffusion-based，以及四种参数化选择（强度函数、密度函数、累积强度、逆CDF）
- LLM-based TPPs — LLM-inspired（PromptTPP、LAMP）vs Direct Integration（TPP-LLM、Language-TPP）
训练方法方面系统比较了 MLE、Wasserstein、NCE、Score Matching 四种目标函数的统计效率与计算开销。
关键发现
- Neural TPP 在下一事件预测上普遍优于经典参数模型，但在长程预测中自回归误差累积仍是瓶颈
- Intensity-free 参数化（直接建模条件密度/累积强度）通常比 intensity-based 方法训练效率更高
- LLM-based TPP 在语义理解任务上有优势，但在纯时间预测 benchmark 上优势不明显——研究重点正从"事件发生过程建模"转向"带时间戳事件数据理解"
- 扩散模型 为非自回归序列生成提供了新范式，但存在时序一致性弱和训练成本高的问题
核心概念
- temporal-point-process — 建模连续时间事件序列的随机过程
- conditional-intensity-function — TPP 的核心数学工具
- hawkes-process — 自激励过程模型
- neural-temporal-point-process — 深度学习驱动的 TPP
- bayesian-nonparametric-tpp — 灵活的非参数先验
- llm-based-temporal-point-process — 大语言模型驱动的 TPP
- marked-temporal-point-process — 多类型事件 TPP
- granger-causality-tpp — TPP 中的因果推断
- intensity-free-modeling — 绕过强度积分的参数化
- diffusion-based-tpp — 扩散生成式 TPP
- tpp-training-methods — MLE、NCE、Score Matching
- tpp-applications — 社交网络、金融、神经科学
挑战与展望
- 数据异构性：缺乏标准化 benchmark，数据预处理差异导致不可复现
- 模型可解释性：神经 TPP 的隐式表征难以对应物理意义
- 可扩展性：长序列 + 连续时间积分的双重计算瓶颈
- 采样效率：thinning 等方法需反复评估强度函数
- 多模态建模：连续时间表征与离散模态（文本、图像）的融合仍是开放问题