---
title: "Tabular Foundation Models"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [machine-learning, foundation-models, tabular-data]
sources: [raw/papers/zeng-neurida-2025.md]
---

# Tabular Foundation Models

**表格基础模型**是在大规模表格数据上预训练、能通过上下文学习适应新任务的模型。

## 代表模型

- **TabPFN** (Hollmann et al., ICLR 2023)：基于 Transformer 的表格分类模型，一次前向传播即可完成预测
- **TabICL** (Qu et al., ICML 2025)：支持大规模数据的上下文学习表格基础模型
- **TP-BERTa** (Yan et al., ICLR 2024)：将预训练语言模型适配到表格预测

## 在 NeurIDA 中的表现

作为 [[composable-base-model-architecture|基础模型池]] 的一部分：
- TabPFN/TabICL 在小数据集上表现最佳（利用预训练先验 + 上下文适应）
- TP-BERTa 等 LTM 在关系数据库中表现较差——因为表格属性缺乏自然语言语义（如 UserAgentID、UserDeviceID）

## 核心优势

- **免训练推理**：预训练后无需针对新任务微调
- **强泛化**：预训练先验覆盖广泛的表格分布

## 来源

- [[zeng-neurida-2025|NeurIDA 论文]]