---
title: "Review: RWKV-7 Goose — Expressive Dynamic State Evolution"
created: 2026-06-18
type: review
tags: ["rwkv", "rnn", "delta-rule", "state-tracking", "expressiveness"]
---

# RWKV-7 Review

📌 基本信息
- **论文标题**：RWKV-7 "Goose" with Expressive Dynamic State Evolution
- **作者**：Bo Peng, Ruichong Zhang, Daniel Goldstein, ... (18 人，RWKV Project + EleutherAI + 多所大学)
- **arXiv ID**：2503.14456v2
- **发表**：2025-03（preprint）
- **代码**：https://github.com/RWKV/RWKV-LM（Apache 2.0）
- **模型**：https://huggingface.co/RWKV
- **Wiki 添加时间**：2026-06-18

🎯 核心概念

1. [[generalized-delta-rule]] — 将 DeltaNet 的标量规则扩展到向量值门控 + 上下文学习率 + 键解耦
2. [[vector-valued-gating]] — 逐通道动态衰减，每个状态维度独立速率
3. [[in-context-learning-rate]] — 从标量 α → 向量 a_t，Delta 规则视角的选择性
4. [[regular-language-recognition]] — 理论里程碑：首个超越 TC^0 的并行化可训练 RNN

🔗 概念网络

```
delta-rule → generalized-delta-rule
  → vector-valued-gating + in-context-learning-rate
    → dynamic-state-evolution
      → regular-language-recognition (NC^1)

rwkv → token-shift → wkv-time-mixing
  → peng-rwkv7 (论文)
```

**与已有概念连接**：
- [[enhanced-state-space-models]]（更新 RWKV-7 小节）
- [[state-space-models]]、[[state-tracking]]、[[step-recurrence]]（已有引用）
- 与 Mamba（[[selective-state-space]]）形成门控机制的跨范式对比

📚 Wiki 集成

- **新增页面**：10 个（1 论文 + 8 概念 + 1 Review）
- **更新页面**：1 个（`enhanced-state-space-models`，RWKV-7 小节扩充）
- **概念分布**：
  - Delta 规则线：[[delta-rule]] → [[generalized-delta-rule]] → [[in-context-learning-rate]]
  - 门控/状态线：[[vector-valued-gating]] → [[dynamic-state-evolution]]
  - 架构线：[[rwkv]] → [[token-shift]] → [[wkv-time-mixing]]
  - 理论线：[[regular-language-recognition]]

💡 关键洞察

1. **"Delta 规则是 RNN 的正确数学语言"**

   RWKV-7 的广义 Delta 规则将三个看似独立的序列建模概念统一在梯度下降的框架下：门控 = 逐通道衰减（w_t）、选择性 = 逐通道学习率（a_t）、值替换 = 预测误差修正。这比 Mamba 的 SSM 框架提供了一个更直观的理解视角：RNN 状态更新本质上是在做在线优化。

2. **理论突破来自对规则的松弛，而非对规模的信仰**

   RWKV-7 证明超越 Transformer（TC^0→NC^1）的关键不是更多参数或更深的网络，而是三个具体的、可分析的数学松弛：标量→向量、固定→动态、共用键→分离键。这是"架构工程应当由理论指导"的最佳案例。

3. **开源生态的闭环**

   RWKV-7 不仅发布了模型权重和代码，还发布了完整的 3.1T token 训练数据组件清单和从旧版升级的训练方法。这种"全栈开源"生态使 RWKV 成为 Transformer 替代方案中最具社区可行性的路线之一。