523 B
523 B
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources |
|---|---|---|---|---|---|
| NTK-aware 位置编码插值 | 2025-04-15 | 2026-05-01 | concept |
NTK-aware 位置编码插值
RoPE 外推技术，通过 NTK 理论调整旋转频率实现上下文窗口扩展。
核心思想
不修改模型架构，通过调整 rotary-position-embedding 的旋转频率分布，使模型能够处理远超训练长度的序列。
相关概念
- rotary-position-embedding — RoPE 基础
- llm-attention-survey-2026 — 综述参考