---
title: "IntraBench — Benchmark for Content-Grounded Literature QA"
type: concept
created: 2026-06-04
tags: [benchmark, evaluation, scientific-literature, information-retrieval]
sources: ["ma-intragent-2026"]
dataset: "https://huggingface.co/datasets/IntrAgent/IntraBench"
---

# IntraBench

**定义**：首个专门评估 [[intraview|IntraView]] 任务的基准测试集，由 [[ma-intragent-2026|IntrAgent]] 论文引入。

## 规模与覆盖

- **315 个测试实例**
- **5 个 STEM 领域**：物理、地球科学、公共卫生、工程、材料科学
- 每个实例：一篇完整科学论文 + 专家撰写的查询 + 多选题选项

## 与已有基准的对比

| 基准 | 实例数 | 领域数 | 领域范围 |
|------|--------|--------|---------|
| LitQA | 50 | 1 | 生物 |
| LitQA2 | 248 | 1 | 生物 |
| **IntraBench** | **315** | **5** | **物理+地球+公卫+工程+材料** |

## 评估方法：LLM 锚定多选题评估

IntraBench 采用独特的评估策略：
1. **生成自由回答**：系统产出简短答案（不提供选项）
2. **LLM 映射**：LLM 将自由回答映射到最相关的多选题选项
3. **处理同义词/缩写**：LLM 能识别等价概念（如 AgNP = 银纳米颗粒）
4. **缺失处理**：无法映射时标记为"以上皆非"

与传统字符串匹配（BLEU/ROUGE）相比，这种方法在科学术语评估上准确度更高。实证结果显示 GPT-4.1 的映射与领域专家手动映射一致性达到 63/65。

## 评估的其他方面

- **跨领域迁移**：同一方法在 5 个领域的平均表现
- **Backbone LLM 鲁棒性**：7 种不同 backbone LLM 下的性能稳定性
- **组件消融**：层级保持、充分性检查、置信度模式的独立贡献

## 相关概念

- [[intraview|IntraView]] — 该基准所评估的任务
- [[intragent|IntrAgent]] — 创建该基准的 Agent 框架
- [[scientific-literature-qa]] — 科学文献 QA 评估的更广领域