20260429:一些新东西

2026-04-29 16:28:13 +08:00
parent 0b1535dfaf
commit 56c4d3ef7c
70 changed files with 2798 additions and 3 deletions
--- a/concepts/flash-attention-3.md
+++ b/concepts/flash-attention-3.md
@@ -0,0 +1,14 @@
+# FlashAttention-3
+
+**FlashAttention 的最新版本** (2024)，引入异步计算和低精度支持。
+
+## 新增特性
+
+- **异步执行**: 重叠计算与数据传输，进一步提高 GPU 利用率
+- **FP8 支持**: 原生支持 FP8 低精度计算
+- **Hopper 架构**: 针对 NVIDIA H100 GPU 的 Tensor Core 优化
+
+## 相关概念
+
+- [[flash-attention]] — FA1/FA2 前序版本
+- [[llm-attention-survey-2026]] — 综述参考