20260625:很多新内容

concepts/regular-language-recognition.md

@@ -0,0 +1,52 @@
+---
+title: "Regular Language Recognition"
+created: 2026-06-18
+updated: 2026-06-18
+type: concept
+tags: ["theory", "expressiveness", "automata", "rwkv"]
+sources: ["https://arxiv.org/abs/2503.14456"]
+---
+
+# Regular Language Recognition
+
+## 定义
+
+Regular Language Recognition（正则语言识别）在 RWKV-7 的语境中指：架构是否具备识别**所有**正则语言的理论能力。这是形式语言理论中表达力的重要基准——正则语言对应有限状态自动机（DFA）的识别能力。
+
+## 复杂度类背景
+
+```
+TC^0 ⊂ NC^1 ⊆ L ⊆ P
+```
+
+- **TC^0**：常数深度、多项式宽度的阈值电路——标准 Transformer 在此类
+- **NC^1**：对数深度电路——正则语言识别需要此类
+
+在 TC^0 ≠ NC^1 的标准猜想下，Transformer 理论上无法识别**所有**正则语言（如某些需要 DFA 的 parity 类语言）。
+
+## RWKV-7 的理论突破
+
+RWKV-7 的论文（Appendix D）证明了两个关键结果：
+
+1. **单层可解决 S5 状态追踪**（一个已知在 NC^1 \ TC^0 的问题，在 TC^0 ≠ NC^1 猜想下）
+2. **常数层可识别任意正则语言**
+
+这是**首个**被证明超越 TC^0 的并行化可训练 RNN 架构。
+
+## 为什么重要
+
+- **架构选择有理论依据**：不是"试试看哪个工作"，而是"这个架构能做什么"
+- **状态追踪的完整支持**：解释了为什么 RWKV-7 在需要维护隐藏状态的合成任务上表现优异
+- **Transformer 的上界是真实的**：非注意力架构不仅效率更高，理论上也更强大
+
+## 相关概念
+
+- [[dynamic-state-evolution]] — 超越 TC^0 的实现机制
+- [[generalized-delta-rule]] — 提供额外表达力的核心组件
+- [[state-tracking]] — 正则语言识别的应用体现
+- [[peng-rwkv7|RWKV-7 论文]]
+
+## 参考
+
+- Merrill & Sabharwal (2023) — Transformer 的 TC^0 上界
+- [[peng-rwkv7|RWKV-7 "Goose"]] (Peng et al., 2025) — Appendix D