myWiki/concepts/regular-language-recognition.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Regular Language Recognition	2026-06-18	2026-06-18	concept	theory expressiveness automata rwkv	https://arxiv.org/abs/2503.14456

Regular Language Recognition

定义

Regular Language Recognition（正则语言识别）在 RWKV-7 的语境中指：架构是否具备识别所有正则语言的理论能力。这是形式语言理论中表达力的重要基准——正则语言对应有限状态自动机（DFA）的识别能力。

复杂度类背景

TC^0 ⊂ NC^1 ⊆ L ⊆ P

• TC^0：常数深度、多项式宽度的阈值电路——标准 Transformer 在此类
• NC^1：对数深度电路——正则语言识别需要此类

在 TC^0 ≠ NC^1 的标准猜想下，Transformer 理论上无法识别所有正则语言（如某些需要 DFA 的 parity 类语言）。

RWKV-7 的理论突破

RWKV-7 的论文（Appendix D）证明了两个关键结果：

1. 单层可解决 S5 状态追踪（一个已知在 NC^1 \ TC^0 的问题，在 TC^0 ≠ NC^1 猜想下）
2. 常数层可识别任意正则语言

这是首个被证明超越 TC^0 的并行化可训练 RNN 架构。

为什么重要

• 架构选择有理论依据：不是"试试看哪个工作"，而是"这个架构能做什么"
• 状态追踪的完整支持：解释了为什么 RWKV-7 在需要维护隐藏状态的合成任务上表现优异
• Transformer 的上界是真实的：非注意力架构不仅效率更高，理论上也更强大

相关概念

• dynamic-state-evolution — 超越 TC^0 的实现机制
• generalized-delta-rule — 提供额外表达力的核心组件
• state-tracking — 正则语言识别的应用体现
• peng-rwkv7

参考

• Merrill & Sabharwal (2023) — Transformer 的 TC^0 上界
• peng-rwkv7 (Peng et al., 2025) — Appendix D