403 B
403 B
NTK-aware 位置编码插值
RoPE 外推技术，通过 NTK 理论调整旋转频率实现上下文窗口扩展。
核心思想
不修改模型架构，通过调整 rotary-position-embedding 的旋转频率分布，使模型能够处理远超训练长度的序列。
相关概念
- rotary-position-embedding — RoPE 基础
- llm-attention-survey-2026 — 综述参考