542 B
542 B
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources |
|---|---|---|---|---|---|
| FlashAttention-3 | 2025-04-15 | 2026-05-01 | concept |
FlashAttention-3
FlashAttention 的最新版本 (2024)，引入异步计算和低精度支持。
新增特性
- 异步执行: 重叠计算与数据传输，进一步提高 GPU 利用率
- FP8 支持: 原生支持 FP8 低精度计算
- Hopper 架构: 针对 NVIDIA H100 GPU 的 Tensor Core 优化
相关概念
- flash-attention — FA1/FA2 前序版本
- llm-attention-survey-2026 — 综述参考