69 lines
2.2 KiB
Markdown
69 lines
2.2 KiB
Markdown
---
|
||
title: "Generalized Delta Rule"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["rwkv", "delta-rule", "state-evolution", "rnn"]
|
||
sources: ["https://arxiv.org/abs/2503.14456"]
|
||
---
|
||
|
||
# Generalized Delta Rule
|
||
|
||
## 定义
|
||
|
||
Generalized Delta Rule（广义 Delta 规则）是 RWKV-7 对经典 [[delta-rule]] 的三重扩展，代表了 Delta 规则从学习记忆到序列建模的完整演进。它在保留梯度下降式状态更新框架的同时，引入向量值门控、上下文学习率和键解耦合。
|
||
|
||
## 三重扩展
|
||
|
||
### 1. 向量值上下文学习率
|
||
|
||
传统 Delta 规则 α 是标量 → RWKV-7 的 a_t 是 d 维向量：
|
||
```
|
||
S_t = S_{t-1} · (I - a_t · κ̂_t^2) + v_t^T · k_t （简化形式）
|
||
```
|
||
|
||
效果：模型可**逐通道**以不同速率更新状态——某些通道快速适应新信息，另一些保持稳定。
|
||
|
||
### 2. 向量值门控（Vector-Valued Gating）
|
||
|
||
引入动态衰减项 w_t（[[vector-valued-gating]]）：
|
||
```
|
||
S_t = S_{t-1} · (diag(w_t) - κ̂_t^T (a_t ⊙ κ̂_t)) + v_t^T · k_t
|
||
```
|
||
|
||
其中 `diag(w_t)` 实现逐通道衰减，`κ̂_t^T (a_t ⊙ κ̂_t)` 实现基于内容的选择性遗忘。
|
||
|
||
### 3. 松弛值替换规则
|
||
|
||
解耦移除 key（k_remove）和添加 key（k_add）：
|
||
- 传统 DeltaNet：同一个 k_t 既用于检测需要移除的旧信息，也用于编码要添加的新信息
|
||
- RWKV-7：分离两个 key → 模型可以"在不相关的维度移除，在相关的维度添加"
|
||
|
||
## 完全形式
|
||
|
||
```
|
||
S_t = S_{t-1} · (diag(w_t) - κ̂_remove^T (a_t ⊙ κ̂_add)) + v_t^T · k_add
|
||
```
|
||
|
||
其中 w_t, a_t, κ̂ 均依赖当前输入 x_t。
|
||
|
||
## 表达力提升
|
||
|
||
广义 Delta 规则使 RWKV-7 的表达力从 TC^0 跃升至 NC^1：
|
||
- 可识别**所有正则语言**
|
||
- 单层可解决 S5 状态追踪
|
||
- 超越标准 Transformer 的理论上界
|
||
|
||
## 相关概念
|
||
|
||
- [[delta-rule]] — 经典 Delta 规则
|
||
- [[vector-valued-gating]] — 逐通道门控机制
|
||
- [[in-context-learning-rate]] — 向量值学习率
|
||
- [[dynamic-state-evolution]] — 完整的动态演化形式化
|
||
- [[regular-language-recognition]] — 理论结果
|
||
- [[peng-rwkv7|RWKV-7 论文]]
|
||
|
||
## 参考
|
||
|
||
- [[peng-rwkv7|RWKV-7 "Goose"]] (Peng et al., 2025) — Section 4
|