91 lines
3.9 KiB
Markdown
91 lines
3.9 KiB
Markdown
---
|
||
title: "RWKV-7 \"Goose\" with Expressive Dynamic State Evolution"
|
||
authors: ["Bo Peng", "Ruichong Zhang", "Daniel Goldstein", "Eric Alcaide", "et al."]
|
||
date: 2025-03-18
|
||
arxiv_id: "2503.14456v2"
|
||
categories: ["cs.CL", "cs.AI", "cs.LG"]
|
||
affiliations: ["RWKV Project (Linux Foundation AI & Data)", "EleutherAI", "Tsinghua University", "et al."]
|
||
paper_type: "preprint"
|
||
code: "https://github.com/RWKV/RWKV-LM"
|
||
models: "https://huggingface.co/RWKV"
|
||
---
|
||
|
||
# RWKV-7 "Goose" with Expressive Dynamic State Evolution
|
||
|
||
## 摘要
|
||
|
||
RWKV-7 "Goose" 是一种新序列建模架构，具有常数内存使用和常数每 token 推理时间。尽管训练 token 数远少于同类顶级模型，其 2.9B 参数语言模型在多语言任务上达到新的 3B SoTA，在英语下游性能上匹敌当前 3B SoTA。RWKV-7 核心创新：(1) 广义化的 delta 规则——带**向量值门控**和**上下文学习率**；(2) 松弛值替换规则（解耦移除和添加的 key）。理论上，RWKV-7 可执行状态追踪并识别**所有正则语言**，超越 Transformer 的 TC^0 限制。附带发布了 3.1T token 多语言语料和四个预训练模型（0.19B-2.9B），全部 Apache 2.0。
|
||
|
||
## 核心贡献
|
||
|
||
1. **广义 Delta 规则**：将 DeltaNet 的标量 delta 规则扩展到向量值门控和上下文学习率
|
||
2. **松弛值替换规则**：解耦移除 key（k_remove）和添加 key（k_add），允许更灵活的状态更新
|
||
3. **超越 TC^0 的表达力**：证明 RWKV-7 可识别所有正则语言（NC^1），单层即可解决 S5 状态追踪
|
||
4. **模型升级方法**：从 RWKV-5/6 checkpoint 升级训练而非从头 pretrain，节省计算
|
||
5. **RWKV World v3 数据集**：3.1T token 多语言开放语料
|
||
|
||
## 方法框架
|
||
|
||
### 从 DeltaNet 到广义 Delta Rule
|
||
|
||
传统 Delta 规则（DeltaNet）的形式：
|
||
```
|
||
S_t = S_{t-1} - α · ∇l(S_{t-1}, k_t, v_t)
|
||
```
|
||
|
||
RWKV-7 的广义 Delta 规则引入三个创新：
|
||
|
||
**1. 向量值门控（Vector-valued Gating）**：
|
||
```
|
||
S_t = S_{t-1} · (diag(w_t) - κ̂_t^T (a_t ⊙ κ̂_t)) + v_t^T · k_t
|
||
```
|
||
其中 w_t 是动态衰减（flexible decay），a_t 是向量值上下文学习率，κ̂_t 是归一化的 key。
|
||
|
||
**2. 向量值上下文学习率（in-context learning rate）**：
|
||
a_t 从标量升级为向量（d 维），允许模型**逐通道**选择性替换状态数据。
|
||
|
||
**3. 广义特征值（Generalized Eigenvalue）**：
|
||
进化矩阵可拥有 [0, 1] 区间外的特征值 → 表达能力超越标准 SSM。
|
||
|
||
### 与各架构对比
|
||
|
||
| 架构 | 大状态 | 灵活衰减 | 动态依赖 | 广义特征值 |
|
||
|------|--------|---------|---------|----------|
|
||
| RWKV-4 | ✗ | ✗ | ✗ | ✗ |
|
||
| Mamba | ✗ | ✓ | ✓ | ✗ |
|
||
| RWKV-6 / GLA | ✗ | ✓ | ✓ | ✗ |
|
||
| Gated DeltaNet | ✓ | ✗ | ✓ | ✓ |
|
||
| **RWKV-7** | ✓ | ✓ | ✓ | ✓ |
|
||
|
||
### 理论突破
|
||
|
||
RWKV-7 是**首个被证明超越 TC^0** 的并行化可训练 RNN 架构（在 TC^0 ≠ NC^1 猜想下）：
|
||
|
||
- 单层可解决 S5 状态追踪（NC^1 问题）
|
||
- 常数层可识别任意正则语言
|
||
- Transformer（standard）被限制在 TC^0
|
||
|
||
## 实验结果
|
||
|
||
- **2.9B 多语言**：3B 规模多语言 SoTA，英语匹敌当前 3B SoTA
|
||
- **训练效率**：训练 token 远少于同等规模模型
|
||
- **长上下文**：常数内存，推理成本不随序列长度增长
|
||
- **关联回忆（Associative Recall）**：在合成任务上显著优于 RWKV-6
|
||
|
||
## 关键概念
|
||
|
||
- [[delta-rule]] → [[generalized-delta-rule]] — Delta 规则的演进路径
|
||
- [[vector-valued-gating]] — RWKV-7 的向量值门控机制
|
||
- [[in-context-learning-rate]] — 逐通道上下文学习率
|
||
- [[dynamic-state-evolution]] — 动态状态演化机制
|
||
- [[token-shift]] — RWKV 家族的时间混合技巧
|
||
- [[regular-language-recognition]] — 理论突破：识别所有正则语言
|
||
- [[wkv-time-mixing]] — RWKV-7 的 WKV 时间混合机制
|
||
|
||
## 参考
|
||
|
||
- 代码：https://github.com/RWKV/RWKV-LM
|
||
- 模型：https://huggingface.co/RWKV
|
||
- DeltaNet (Schlag et al., 2021)
|
||
- RWKV-6 / Finch (Peng et al., 2024)
|