20260625:很多新内容

raw/papers/peng-rwkv7-goose-2025.md

@@ -0,0 +1,90 @@
+---
+title: "RWKV-7 \"Goose\" with Expressive Dynamic State Evolution"
+authors: ["Bo Peng", "Ruichong Zhang", "Daniel Goldstein", "Eric Alcaide", "et al."]
+date: 2025-03-18
+arxiv_id: "2503.14456v2"
+categories: ["cs.CL", "cs.AI", "cs.LG"]
+affiliations: ["RWKV Project (Linux Foundation AI & Data)", "EleutherAI", "Tsinghua University", "et al."]
+paper_type: "preprint"
+code: "https://github.com/RWKV/RWKV-LM"
+models: "https://huggingface.co/RWKV"
+---
+
+# RWKV-7 "Goose" with Expressive Dynamic State Evolution
+
+## 摘要
+
+RWKV-7 "Goose" 是一种新序列建模架构，具有常数内存使用和常数每 token 推理时间。尽管训练 token 数远少于同类顶级模型，其 2.9B 参数语言模型在多语言任务上达到新的 3B SoTA，在英语下游性能上匹敌当前 3B SoTA。RWKV-7 核心创新：(1) 广义化的 delta 规则——带**向量值门控**和**上下文学习率**；(2) 松弛值替换规则（解耦移除和添加的 key）。理论上，RWKV-7 可执行状态追踪并识别**所有正则语言**，超越 Transformer 的 TC^0 限制。附带发布了 3.1T token 多语言语料和四个预训练模型（0.19B-2.9B），全部 Apache 2.0。
+
+## 核心贡献
+
+1. **广义 Delta 规则**：将 DeltaNet 的标量 delta 规则扩展到向量值门控和上下文学习率
+2. **松弛值替换规则**：解耦移除 key（k_remove）和添加 key（k_add），允许更灵活的状态更新
+3. **超越 TC^0 的表达力**：证明 RWKV-7 可识别所有正则语言（NC^1），单层即可解决 S5 状态追踪
+4. **模型升级方法**：从 RWKV-5/6 checkpoint 升级训练而非从头 pretrain，节省计算
+5. **RWKV World v3 数据集**：3.1T token 多语言开放语料
+
+## 方法框架
+
+### 从 DeltaNet 到广义 Delta Rule
+
+传统 Delta 规则（DeltaNet）的形式：
+```
+S_t = S_{t-1} - α · ∇l(S_{t-1}, k_t, v_t)
+```
+
+RWKV-7 的广义 Delta 规则引入三个创新：
+
+**1. 向量值门控（Vector-valued Gating）**：
+```
+S_t = S_{t-1} · (diag(w_t) - κ̂_t^T (a_t ⊙ κ̂_t)) + v_t^T · k_t
+```
+其中 w_t 是动态衰减（flexible decay），a_t 是向量值上下文学习率，κ̂_t 是归一化的 key。
+
+**2. 向量值上下文学习率（in-context learning rate）**：
+a_t 从标量升级为向量（d 维），允许模型**逐通道**选择性替换状态数据。
+
+**3. 广义特征值（Generalized Eigenvalue）**：
+进化矩阵可拥有 [0, 1] 区间外的特征值 → 表达能力超越标准 SSM。
+
+### 与各架构对比
+
+| 架构 | 大状态 | 灵活衰减 | 动态依赖 | 广义特征值 |
+|------|--------|---------|---------|----------|
+| RWKV-4 | ✗ | ✗ | ✗ | ✗ |
+| Mamba | ✗ | ✓ | ✓ | ✗ |
+| RWKV-6 / GLA | ✗ | ✓ | ✓ | ✗ |
+| Gated DeltaNet | ✓ | ✗ | ✓ | ✓ |
+| **RWKV-7** | ✓ | ✓ | ✓ | ✓ |
+
+### 理论突破
+
+RWKV-7 是**首个被证明超越 TC^0** 的并行化可训练 RNN 架构（在 TC^0 ≠ NC^1 猜想下）：
+
+- 单层可解决 S5 状态追踪（NC^1 问题）
+- 常数层可识别任意正则语言
+- Transformer（standard）被限制在 TC^0
+
+## 实验结果
+
+- **2.9B 多语言**：3B 规模多语言 SoTA，英语匹敌当前 3B SoTA
+- **训练效率**：训练 token 远少于同等规模模型
+- **长上下文**：常数内存，推理成本不随序列长度增长
+- **关联回忆（Associative Recall）**：在合成任务上显著优于 RWKV-6
+
+## 关键概念
+
+- [[delta-rule]] → [[generalized-delta-rule]] — Delta 规则的演进路径
+- [[vector-valued-gating]] — RWKV-7 的向量值门控机制
+- [[in-context-learning-rate]] — 逐通道上下文学习率
+- [[dynamic-state-evolution]] — 动态状态演化机制
+- [[token-shift]] — RWKV 家族的时间混合技巧
+- [[regular-language-recognition]] — 理论突破：识别所有正则语言
+- [[wkv-time-mixing]] — RWKV-7 的 WKV 时间混合机制
+
+## 参考
+
+- 代码：https://github.com/RWKV/RWKV-LM
+- 模型：https://huggingface.co/RWKV
+- DeltaNet (Schlag et al., 2021)
+- RWKV-6 / Finch (Peng et al., 2024)