1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Neuron-Level Models (NLMs) | 2026-05-15 | 2026-05-15 | concept |
|
|
Neuron-Level Models (NLMs)
Neuron-Level Models (NLMs) 是 CTM 的第一个核心创新：每个神经元拥有私有参数的模型，而非所有神经元共享同一激活函数。
机制
对于第 d 个神经元：
z_{t+1}^d = g_{θ_d}(A_t^d)
其中：
- A_t^d ∈ R^M 是该神经元最近 M 步的前激活历史（pre-activation history）
- g_{θ_d} 是一个深度为 1 的 MLP（宽度 d_hidden），每个神经元有独立权重
- z 是后激活（post-activation），即该神经元的放电状态
与传统激活函数的对比
| 维度 | 传统（ReLU/GELU） | NLMs |
|---|---|---|
| 参数共享 | 全共享 | 每个神经元私有 |
| 时序依赖 | 无（仅当前输入） | M 步历史 |
| 表达能力 | 低（单一点态非线性） | 高（时态模式检测） |
| 生物学类比 | 无 | 类似真实神经元的脉冲时序依赖 |
含义
NLMs 是「神经元即小型时序处理器」的思想实验——将 D 维潜在空间中的每个维度视为一个具有独立时序动力学的"微型大脑"。这显著增加了参数量（× d_hidden × M），但也开辟了新的能力维度。