15 lines
434 B
Markdown
15 lines
434 B
Markdown
# FlashAttention-3
|
|
|
|
**FlashAttention 的最新版本** (2024)，引入异步计算和低精度支持。
|
|
|
|
## 新增特性
|
|
|
|
- **异步执行**: 重叠计算与数据传输，进一步提高 GPU 利用率
|
|
- **FP8 支持**: 原生支持 FP8 低精度计算
|
|
- **Hopper 架构**: 针对 NVIDIA H100 GPU 的 Tensor Core 优化
|
|
|
|
## 相关概念
|
|
|
|
- [[flash-attention]] — FA1/FA2 前序版本
|
|
- [[llm-attention-survey-2026]] — 综述参考
|