---
title: "Vector-Valued Gating"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: ["rwkv", "gating", "sequence-modeling", "state-evolution"]
sources: ["https://arxiv.org/abs/2503.14456"]
---

# Vector-Valued Gating

## 定义

Vector-Valued Gating（向量值门控）是 RWKV-7 中 [[generalized-delta-rule]] 的核心组件：将传统 RNN 的标量门控信号（如 LSTM 的遗忘门输出一个标量）扩展为**逐通道的向量**，使模型能对状态的不同维度独立控制遗忘/保留。

## 在 RWKV-7 中的形式

```
S_t = S_{t-1} · (diag(w_t) - κ̂^T (a_t ⊙ κ̂)) + v_t^T · k_t
```

其中 `diag(w_t)` 是一个对角的衰减矩阵，w_t ∈ R^d 是输入依赖的 d 维向量。

## 与标量门控的对比

| 门控类型 | 代表架构 | 行为 |
|---------|---------|------|
| 标量门控 | LSTM (forget gate = 1 个值/单元)，GRU | 对整个状态维度均匀遗忘 |
| 逐通道门控 | Mamba (Δ_t)，RWKV-7 (w_t) | 每个维度独立速率衰减 |

向量值门控的本质是**选择性**的精细化版本：
- 某个通道可以快速衰减（遗忘旧信息，适应新输入）
- 另一个通道可以缓慢衰减（保留长距离上下文）

## 为什么重要

标量门控的根本局限是"一刀切"——所有状态维度必须以相同的速率更新或遗忘。然而，不同特征有不同的时间尺度需求：
- 句法特征需要快速更新（每个新词都可能改变语法结构）
- 主题特征需要缓慢更新（话题通常在多句内保持一致）

向量值门控解决了这个矛盾。

## 相关概念

- [[generalized-delta-rule]] — 向量值门控是广义 Delta 规则的三个扩展之一
- [[in-context-learning-rate]] — a_t 的逐通道特性
- [[dynamic-state-evolution]] — 向量值门控 + Delta 规则 = 动态状态演化
- [[selective-state-space]] — Mamba 的选择性（另一种逐通道方案）
- [[peng-rwkv7|RWKV-7 论文]]

## 参考

- [[peng-rwkv7|RWKV-7 "Goose"]] (Peng et al., 2025)