47 lines
1.6 KiB
Markdown
47 lines
1.6 KiB
Markdown
---
|
||
title: "Token Shift"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: concept
|
||
tags: ["rwkv", "time-mixing", "sequence-modeling"]
|
||
sources: ["https://arxiv.org/abs/2503.14456"]
|
||
---
|
||
|
||
# Token Shift
|
||
|
||
## 定义
|
||
|
||
Token Shift（Token 偏移）是 RWKV 系列架构独有的时间混合技巧：通过将当前 token 与前一个 token 的表示做线性混合，让模型以极低成本获取**局部时序信息**，而不依赖显式位置编码或卷积。
|
||
|
||
## 机制
|
||
|
||
```
|
||
x_shifted = α ⊙ x_t + (1 - α) ⊙ x_{t-1}
|
||
```
|
||
|
||
其中 α 是可学习的逐通道混合系数。这个操作在 RWKV 每一层的时间混合（Time Mixing）模块中执行。
|
||
|
||
## 设计哲学
|
||
|
||
RWKV 不显式使用位置编码（Transformer）或卷积核（Hyena/H3），而是通过 token shift 这种**最小侵入**的时序注入方式：
|
||
|
||
- 仅需保存前一 token 的表示（O(d) 而非 O(n)）
|
||
- 不引入额外参数层
|
||
- 提供局部上下文感知，全局依赖由 WKV/Delta 循环状态完成
|
||
|
||
## 在 RWKV-7 中
|
||
|
||
RWKV-7 继承了 token shift 机制，但将其与 [[generalized-delta-rule]] 配合使用——shift 提供局部时序，Delta 状态提供全局记忆。两者互补：shift 负责"相邻 token 之间的平滑"，Delta 负责"远距离的联想和状态追踪"。
|
||
|
||
## 相关概念
|
||
|
||
- [[wkv-time-mixing]] — Token shift 所在的时间混合模块
|
||
- [[rwkv]] — 使用 token shift 的全系列架构
|
||
- [[generalized-delta-rule]] — RWKV-7 的全局记忆机制
|
||
- [[peng-rwkv7|RWKV-7 论文]]
|
||
|
||
## 参考
|
||
|
||
- RWKV-4 (Peng et al., 2023) — 首次引入 token shift
|
||
- [[peng-rwkv7|RWKV-7 "Goose"]] (Peng et al., 2025)
|