Token Shift

定义

Token Shift（Token 偏移）是 RWKV 系列架构独有的时间混合技巧：通过将当前 token 与前一个 token 的表示做线性混合，让模型以极低成本获取局部时序信息，而不依赖显式位置编码或卷积。

x_shifted = α ⊙ x_t + (1 - α) ⊙ x_{t-1}

其中 α 是可学习的逐通道混合系数。这个操作在 RWKV 每一层的时间混合（Time Mixing）模块中执行。

RWKV 不显式使用位置编码（Transformer）或卷积核（Hyena/H3），而是通过 token shift 这种最小侵入的时序注入方式：

RWKV-7 继承了 token shift 机制，但将其与 generalized-delta-rule 配合使用——shift 提供局部时序，Delta 状态提供全局记忆。两者互补：shift 负责"相邻 token 之间的平滑"，Delta 负责"远距离的联想和状态追踪"。