34 lines
1.2 KiB
Markdown
34 lines
1.2 KiB
Markdown
---
|
||
title: "Tabular Foundation Models"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [machine-learning, foundation-models, tabular-data]
|
||
sources: [raw/papers/zeng-neurida-2025.md]
|
||
---
|
||
|
||
# Tabular Foundation Models
|
||
|
||
**表格基础模型**是在大规模表格数据上预训练、能通过上下文学习适应新任务的模型。
|
||
|
||
## 代表模型
|
||
|
||
- **TabPFN** (Hollmann et al., ICLR 2023)：基于 Transformer 的表格分类模型，一次前向传播即可完成预测
|
||
- **TabICL** (Qu et al., ICML 2025)：支持大规模数据的上下文学习表格基础模型
|
||
- **TP-BERTa** (Yan et al., ICLR 2024)：将预训练语言模型适配到表格预测
|
||
|
||
## 在 NeurIDA 中的表现
|
||
|
||
作为 [[composable-base-model-architecture|基础模型池]] 的一部分：
|
||
- TabPFN/TabICL 在小数据集上表现最佳（利用预训练先验 + 上下文适应）
|
||
- TP-BERTa 等 LTM 在关系数据库中表现较差——因为表格属性缺乏自然语言语义（如 UserAgentID、UserDeviceID）
|
||
|
||
## 核心优势
|
||
|
||
- **免训练推理**：预训练后无需针对新任务微调
|
||
- **强泛化**：预训练先验覆盖广泛的表格分布
|
||
|
||
## 来源
|
||
|
||
- [[zeng-neurida-2025|NeurIDA 论文]]
|