20260429:一些新东西

This commit is contained in:
2026-04-29 16:28:13 +08:00
parent 0b1535dfaf
commit 56c4d3ef7c
70 changed files with 2798 additions and 3 deletions

View File

@@ -0,0 +1,12 @@
# NTK-aware 位置编码插值
**RoPE 外推技术**,通过 NTK 理论调整旋转频率实现上下文窗口扩展。
## 核心思想
不修改模型架构,通过调整 [[rotary-position-embedding|RoPE]] 的旋转频率分布,使模型能够处理远超训练长度的序列。
## 相关概念
- [[rotary-position-embedding]] — RoPE 基础
- [[llm-attention-survey-2026]] — 综述参考