1.2 KiB
1.2 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Tabular Foundation Models | 2026-05-15 | 2026-05-15 | concept |
|
|
Tabular Foundation Models
表格基础模型是在大规模表格数据上预训练、能通过上下文学习适应新任务的模型。
代表模型
- TabPFN (Hollmann et al., ICLR 2023)：基于 Transformer 的表格分类模型，一次前向传播即可完成预测
- TabICL (Qu et al., ICML 2025)：支持大规模数据的上下文学习表格基础模型
- TP-BERTa (Yan et al., ICLR 2024)：将预训练语言模型适配到表格预测
在 NeurIDA 中的表现
作为 composable-base-model-architecture 的一部分：
- TabPFN/TabICL 在小数据集上表现最佳（利用预训练先验 + 上下文适应）
- TP-BERTa 等 LTM 在关系数据库中表现较差——因为表格属性缺乏自然语言语义（如 UserAgentID、UserDeviceID）
核心优势
- 免训练推理：预训练后无需针对新任务微调
- 强泛化：预训练先验覆盖广泛的表格分布