20260518-morning:新增内容

concepts/tabular-foundation-models.md

@@ -0,0 +1,33 @@
+---
+title: "Tabular Foundation Models"
+created: 2026-05-15
+updated: 2026-05-15
+type: concept
+tags: [machine-learning, foundation-models, tabular-data]
+sources: [raw/papers/zeng-neurida-2025.md]
+---
+
+# Tabular Foundation Models
+
+**表格基础模型**是在大规模表格数据上预训练、能通过上下文学习适应新任务的模型。
+
+## 代表模型
+
+- **TabPFN** (Hollmann et al., ICLR 2023)：基于 Transformer 的表格分类模型，一次前向传播即可完成预测
+- **TabICL** (Qu et al., ICML 2025)：支持大规模数据的上下文学习表格基础模型
+- **TP-BERTa** (Yan et al., ICLR 2024)：将预训练语言模型适配到表格预测
+
+## 在 NeurIDA 中的表现
+
+作为 [[composable-base-model-architecture|基础模型池]] 的一部分：
+- TabPFN/TabICL 在小数据集上表现最佳（利用预训练先验 + 上下文适应）
+- TP-BERTa 等 LTM 在关系数据库中表现较差——因为表格属性缺乏自然语言语义（如 UserAgentID、UserDeviceID）
+
+## 核心优势
+
+- **免训练推理**：预训练后无需针对新任务微调
+- **强泛化**：预训练先验覆盖广泛的表格分布
+
+## 来源
+
+- [[zeng-neurida-2025|NeurIDA 论文]]