myWiki/reviews/rwkv7-review-20260618.md

title, created, type, tags

title	created	type	tags
Review: RWKV-7 Goose — Expressive Dynamic State Evolution	2026-06-18	review	rwkv rnn delta-rule state-tracking expressiveness

RWKV-7 Review

📌 基本信息

• 论文标题：RWKV-7 "Goose" with Expressive Dynamic State Evolution
• 作者：Bo Peng, Ruichong Zhang, Daniel Goldstein, ... (18 人，RWKV Project + EleutherAI + 多所大学)
• arXiv ID：2503.14456v2
• 发表：2025-03（preprint）
• 代码：https://github.com/RWKV/RWKV-LM（Apache 2.0）
• 模型：https://huggingface.co/RWKV
• Wiki 添加时间：2026-06-18

🎯 核心概念

1. generalized-delta-rule — 将 DeltaNet 的标量规则扩展到向量值门控 + 上下文学习率 + 键解耦
2. vector-valued-gating — 逐通道动态衰减，每个状态维度独立速率
3. in-context-learning-rate — 从标量 α → 向量 a_t，Delta 规则视角的选择性
4. regular-language-recognition — 理论里程碑：首个超越 TC^0 的并行化可训练 RNN

🔗 概念网络

delta-rule → generalized-delta-rule
  → vector-valued-gating + in-context-learning-rate
    → dynamic-state-evolution
      → regular-language-recognition (NC^1)

rwkv → token-shift → wkv-time-mixing
  → peng-rwkv7 (论文)

与已有概念连接：

• enhanced-state-space-models（更新 RWKV-7 小节）
• state-space-models、state-tracking、step-recurrence（已有引用）
• 与 Mamba（selective-state-space）形成门控机制的跨范式对比

📚 Wiki 集成

• 新增页面：10 个（1 论文 + 8 概念 + 1 Review）
• 更新页面：1 个（enhanced-state-space-models，RWKV-7 小节扩充）
• 概念分布：
  • Delta 规则线：delta-rule → generalized-delta-rule → in-context-learning-rate
  • 门控/状态线：vector-valued-gating → dynamic-state-evolution
  • 架构线：rwkv → token-shift → wkv-time-mixing
  • 理论线：regular-language-recognition

💡 关键洞察

1. "Delta 规则是 RNN 的正确数学语言"

   RWKV-7 的广义 Delta 规则将三个看似独立的序列建模概念统一在梯度下降的框架下：门控 = 逐通道衰减（w_t）、选择性 = 逐通道学习率（a_t）、值替换 = 预测误差修正。这比 Mamba 的 SSM 框架提供了一个更直观的理解视角：RNN 状态更新本质上是在做在线优化。

2. 理论突破来自对规则的松弛，而非对规模的信仰

   RWKV-7 证明超越 Transformer（TC^0→NC^1）的关键不是更多参数或更深的网络，而是三个具体的、可分析的数学松弛：标量→向量、固定→动态、共用键→分离键。这是"架构工程应当由理论指导"的最佳案例。

3. 开源生态的闭环

   RWKV-7 不仅发布了模型权重和代码，还发布了完整的 3.1T token 训练数据组件清单和从旧版升级的训练方法。这种"全栈开源"生态使 RWKV 成为 Transformer 替代方案中最具社区可行性的路线之一。