24 lines
542 B
Markdown
24 lines
542 B
Markdown
---
|
|
title: FlashAttention-3
|
|
created: 2025-04-15
|
|
updated: 2026-05-01
|
|
type: concept
|
|
tags: []
|
|
sources: []
|
|
---
|
|
|
|
# FlashAttention-3
|
|
|
|
**FlashAttention 的最新版本** (2024)，引入异步计算和低精度支持。
|
|
|
|
## 新增特性
|
|
|
|
- **异步执行**: 重叠计算与数据传输，进一步提高 GPU 利用率
|
|
- **FP8 支持**: 原生支持 FP8 低精度计算
|
|
- **Hopper 架构**: 针对 NVIDIA H100 GPU 的 Tensor Core 优化
|
|
|
|
## 相关概念
|
|
|
|
- [[flash-attention]] — FA1/FA2 前序版本
|
|
- [[llm-attention-survey-2026]] — 综述参考
|