---
title: FlashAttention-3
created: 2025-04-15
updated: 2026-05-01
type: concept
tags: []
sources: []
---

# FlashAttention-3

**FlashAttention 的最新版本** (2024)，引入异步计算和低精度支持。

## 新增特性

- **异步执行**: 重叠计算与数据传输，进一步提高 GPU 利用率
- **FP8 支持**: 原生支持 FP8 低精度计算
- **Hopper 架构**: 针对 NVIDIA H100 GPU 的 Tensor Core 优化

## 相关概念

- [[flash-attention]] — FA1/FA2 前序版本
- [[llm-attention-survey-2026]] — 综述参考