20260518-morning:新增内容

concepts/neuron-level-models.md

@@ -0,0 +1,41 @@
+---
+title: "Neuron-Level Models (NLMs)"
+created: 2026-05-15
+updated: 2026-05-15
+type: concept
+tags: [neural-architecture, biological-plausibility, temporal-processing]
+sources: [raw/papers/darlow-ctm-2025.md]
+---
+
+# Neuron-Level Models (NLMs)
+
+**Neuron-Level Models (NLMs)** 是 CTM 的第一个核心创新：每个神经元拥有**私有参数**的模型，而非所有神经元共享同一激活函数。
+
+## 机制
+
+对于第 d 个神经元：
+```
+z_{t+1}^d = g_{θ_d}(A_t^d)
+```
+
+其中：
+- A_t^d ∈ R^M 是该神经元最近 M 步的**前激活历史**（pre-activation history）
+- g_{θ_d} 是一个深度为 1 的 MLP（宽度 d_hidden），每个神经元有独立权重
+- z 是**后激活**（post-activation），即该神经元的放电状态
+
+## 与传统激活函数的对比
+
+| 维度 | 传统（ReLU/GELU） | NLMs |
+|------|-------------------|------|
+| 参数共享 | 全共享 | 每个神经元私有 |
+| 时序依赖 | 无（仅当前输入） | M 步历史 |
+| 表达能力 | 低（单一点态非线性） | 高（时态模式检测） |
+| 生物学类比 | 无 | 类似真实神经元的脉冲时序依赖 |
+
+## 含义
+
+NLMs 是「神经元即小型时序处理器」的思想实验——将 D 维潜在空间中的每个维度视为一个具有独立时序动力学的"微型大脑"。这显著增加了参数量（× d_hidden × M），但也开辟了新的能力维度。
+
+## 来源
+
+- [[darlow-ctm-2025|CTM 论文]]