434 B
434 B
FlashAttention-3
FlashAttention 的最新版本 (2024)，引入异步计算和低精度支持。
新增特性
- 异步执行: 重叠计算与数据传输，进一步提高 GPU 利用率
- FP8 支持: 原生支持 FP8 低精度计算
- Hopper 架构: 针对 NVIDIA H100 GPU 的 Tensor Core 优化
相关概念
- flash-attention — FA1/FA2 前序版本
- llm-attention-survey-2026 — 综述参考