13 lines
403 B
Markdown
13 lines
403 B
Markdown
# NTK-aware 位置编码插值
|
|
|
|
**RoPE 外推技术**，通过 NTK 理论调整旋转频率实现上下文窗口扩展。
|
|
|
|
## 核心思想
|
|
|
|
不修改模型架构，通过调整 [[rotary-position-embedding|RoPE]] 的旋转频率分布，使模型能够处理远超训练长度的序列。
|
|
|
|
## 相关概念
|
|
|
|
- [[rotary-position-embedding]] — RoPE 基础
|
|
- [[llm-attention-survey-2026]] — 综述参考
|