602 lines
37 KiB
Markdown
602 lines
37 KiB
Markdown
# Wiki Log
|
||
|
||
> 所有 wiki 操作的按时间顺序记录。仅追加。
|
||
> 格式：`## [YYYY-MM-DD] action | subject`
|
||
> 操作类型：ingest, update, query, lint, create, archive, delete
|
||
> 当此文件超过 500 条记录时，轮换：重命名为 log-YYYY.md，重新开始。
|
||
|
||
|
||
|
||
|
||
|
||
## 2026-05-15 — ingest | Continuous Thought Machines (arXiv:2505.05522, NeurIPS 2025)
|
||
- 添加论文 [[darlow-ctm-2025]]: "Continuous Thought Machines" — 以神经同步为表示的新型架构，NLMs + Neural Synchronization 两大创新
|
||
- 新增 11 个概念页: [[continuous-thought-machine]], [[neuron-level-models]], [[neural-synchronization]], [[internal-ticks]], [[synapse-model]], [[certainty-based-loss]], [[adaptive-computation-time]], [[internal-world-model]], [[neuron-pairing]], [[temporal-decay-neural]], [[pre-activation-history]]
|
||
- 核心创新: 每个神经元私有 NLM 替代统一激活函数 + 激活历史内积作为同步表示
|
||
- 实验亮点: 迷宫泛化(39×39→99×99)、ImageNet 原生自适应计算、Parity 可解释策略
|
||
- 作者含 Llion Jones (Attention Is All You Need 合著者), 机构: Sakana AI
|
||
- 来源: https://arxiv.org/abs/2505.05522
|
||
|
||
## 2026-05-15 — ingest | NeurIDA (arXiv:2512.08483v3, cs.DB 2025)
|
||
- 添加论文 [[zeng-neurida-2025]]: "NeurIDA: Dynamic Modeling for Effective In-Database Analytics" — 端到端自主库内分析系统，通过动态装配定制模型解决 ML 静态性与 RDBMS 动态性的范式鸿沟
|
||
- 新增 15 个概念页: [[neurida]], [[dynamic-in-database-modeling]], [[dime-dynamic-in-database-modeling-engine]], [[composable-base-model-architecture]], [[query-intent-analyzer]], [[conditional-model-dispatcher]], [[zero-cost-proxies]], [[dynamic-relation-modeling]], [[dynamic-model-fusion]], [[data-slice]], [[base-table-embedding]], [[in-database-analytics]], [[relational-graph]], [[analytical-report-synthesizer]], [[tabular-foundation-models]]
|
||
- 核心创新: DIME 四阶段管线（表嵌入→关系建模→上下文融合→预测），从共享组件在查询时动态装配定制模型
|
||
- 实验: 5 数据集 10 任务，AUC-ROC ↑12%, MAE ↓25%, 延迟开销仅 1.1×–2.1×
|
||
- 来源: https://arxiv.org/abs/2512.08483v3
|
||
|
||
## 2026-05-12 — ingest | TBA (arXiv:2503.18929, NeurIPS 2025)
|
||
- 添加论文 [[bartoldson-tba-2025]]: "Trajectory Balance with Asynchrony" — GFlowNet TB 目标 × 异步分布式 RL
|
||
- 新增 8 个概念页: [[tba]], [[trajectory-balance-objective]], [[asynchronous-rl-llm]], [[off-policy-llm-post-training]], [[gflownet-fine-tuning]], [[replay-buffer-rl-llm]], [[searcher-trainer-decoupling]], [[reward-recency-sampling]]
|
||
- 核心创新: 利用 TB 目标的 off-policy 兼容性，实现 Searcher-Trainer 解耦，4×–50× 训练加速
|
||
- TBA′ 在高度 off-policy 设置下超越 Dr. GRPO（MATH, Qwen 2.5 7B）
|
||
- 来源: https://arxiv.org/abs/2503.18929 | 代码: https://github.com/bbartoldson/TBA
|
||
|
||
## 2026-05-12 — ingest | MathForge (arXiv:2601.20614, ICLR 2026)
|
||
- 添加论文 [[dai-mathforge-2026]]: "Harder Is Better" — 难度感知 GRPO + 多维度问题改写
|
||
- 新增 8 个概念页: [[grpo]], [[mathforge]], [[dgpo]], [[dgae]], [[dqw]], [[mqr]], [[update-magnitude-imbalance]], [[math-question-reformulation]]
|
||
- 核心发现: GRPO 存在更新幅度难度不平衡 (Theorem 1), DGAE 用 MAD 替代 std 解决 (Theorem 2)
|
||
- MQR 三维改写策略: Background (99%), Term (97%), Sub-Problem (97%) 答案保持率
|
||
- 来源: https://arxiv.org/abs/2601.20614 | 代码: https://github.com/AMAP-ML/MathForge
|
||
|
||
|
||
|
||
|
||
## [2026-05-14] ingest | StreamingLLM: 基于注意力汇的高效流式语言模型 (arXiv:2309.17453, ICLR 2024)
|
||
- 添加论文 [[streaming-llm]]: "Efficient Streaming Language Models with Attention Sinks" — 发现 Attention Sink 现象，提出无需微调的无限长流式推理框架
|
||
- 新增 5 个概念页: [[length-extrapolation]], [[rolling-kv-cache]], [[sink-token]], [[softmax-off-by-one]], [[window-attention]]
|
||
- 更新概念 [[attention-sinks]]: 从占位符扩展为完整内容（含数学推导、实验证据、应用）
|
||
- 来源: https://arxiv.org/abs/2309.17453
|
||
- 创建 5 个作者实体页: [[guangxuan-xiao]], [[yuandong-tian]], [[beidi-chen]], [[song-han]], [[mike-lewis]]
|
||
|
||
## [2026-05-14] ingest | LLMs Corrupt Your Documents When You Delegate (arXiv:2604.15597, April 2026)
|
||
- 添加论文 [[laban-llms-corrupt-documents-delegate]]: "LLMs Corrupt Your Documents When You Delegate" — DELEGATE-52 基准揭示LLM在委托工作中静默破坏文档
|
||
- 新增 11 个概念页: [[delegate-52]], [[backtranslation-round-trip-relay]], [[round-trip-reconstruction-score]], [[document-degradation]], [[critical-failures]], [[delegated-work]], [[long-horizon-evaluation]], [[semantic-equivalence]], [[domain-specific-evaluation]], [[distractor-context]], [[jagged-frontier]]
|
||
- 来源: https://arxiv.org/abs/2604.15597
|
||
|
||
## [2026-05-13] — ingest | ELF: Embedded Language Flows (arXiv:2605.10938, Tech Report 2026)
|
||
- 添加论文 [[elf-embedded-language-flows]]: "ELF: Embedded Language Flows" — 基于 Flow Matching 的连续嵌入语言扩散模型，用共享权重网络实现去噪-解码统一，105M 超越 170M 基线
|
||
- 新增 11 个概念页: [[embedded-language-flows]], [[flow-matching]], [[continuous-diffusion-language-models]], [[shared-weight-discretization]], [[classifier-free-guidance-language]], [[self-conditioning]], [[x-prediction-parameterization]], [[rectified-flows]], [[sde-sampler-language]], [[generative-perplexity]], [[discrete-diffusion-language-models]]
|
||
- 来源: https://arxiv.org/abs/2605.10938
|
||
- 作者: Keya Hu*, Linlu Qiu*, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob Andreas, Kaiming He (MIT)
|
||
|
||
## [2026-04-27] ingest | DeepSeek-V4 技术报告 (HuggingFace)
|
||
- 来源：https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
|
||
- 作者：DeepSeek-AI
|
||
- PDF：4.4MB，提取 4906 行文本
|
||
- 新增文件 (14 个)：
|
||
- `raw/papers/deepseek-ai-deepseek-v4-2026.md` — 原始论文存档
|
||
- `papers/deepseek-v4-million-token-context.md` — 论文主页面
|
||
- Tier 1 核心概念 (5 个)：
|
||
- `concepts/compressed-sparse-attention.md` — CSA 压缩稀疏注意力
|
||
- `concepts/heavily-compressed-attention.md` — HCA 高强度压缩注意力
|
||
- `concepts/manifold-constrained-hyper-connections.md` — mHC 流形约束超连接
|
||
- `concepts/muon-optimizer.md` — Muon 优化器
|
||
- `concepts/on-policy-distillation.md` — OPD 在线策略蒸馏
|
||
- Tier 2 基础概念 (4 个)：
|
||
- `concepts/hybrid-attention-architecture.md` — 混合注意力架构
|
||
- `concepts/mixture-of-experts.md` — MoE 混合专家
|
||
- `concepts/fp4-quantization-training.md` — FP4 量化感知训练
|
||
- `concepts/specialist-training-pipeline.md` — 专家训练流水线
|
||
- Tier 3 占位符概念 (3 个)：
|
||
- `concepts/multi-token-prediction.md` — MTP 多 Token 预测
|
||
- `concepts/test-time-scaling.md` — 测试时扩展
|
||
- `concepts/million-token-context.md` — 百万 Token 上下文
|
||
- 关键概念：CSA/HCA 混合注意力、mHC 双随机矩阵约束、Muon 优化器、OPD 多教师蒸馏
|
||
- 更新 index.md：总页面数 57 → 71
|
||
|
||
## [2026-04-20] merge | 合并 /home/ubuntu/wiki 到 /home/ubuntu/wikiplace
|
||
- 来源：旧 wiki 路径（默认回退路径 ~/wiki）
|
||
- 操作：将 wiki 独有的文件合并到 wikiplace
|
||
- 新增文件：
|
||
- `concepts/computerized-adaptive-testing.md` — CAT 测试综述
|
||
- `concepts/cramer-rao-lower-bound.md` — CRLB 参数估计下界
|
||
- `concepts/knowledge-bank.md` — AI 辅助开发知识管理系统
|
||
- `concepts/symbolic-regression.md` — 符号回归技术
|
||
- `raw/articles/knowledge-bank-ai-dev-2026.md` — Knowledge Bank 微信公众号原文
|
||
- `raw/papers/hbs-cramerrao-bound-notes.md` — HBS CRLB 培训材料摘要
|
||
- `raw/papers/zhuang-catsurvey-ml-2024.md` — CAT 综述论文元数据
|
||
- `raw/papers/cramerrao-bound-notes.pdf` — HBS CRLB 培训 PDF
|
||
- `raw/papers/odrzywolek-eml-universal-operator-2026.pdf` — EML 论文 PDF
|
||
- 合并更新：
|
||
- `concepts/eml-operator.md` — 补充了符号回归联系、布尔逻辑类比、研究意义和更多开放问题
|
||
- `entities/andrzej-odrzywolek.md` — 补充了发表文献、发现方法、重要意义和外部链接
|
||
- 更新 index.md：总页面数 24 → 28
|
||
- 更新 log.md：追加合并记录
|
||
|
||
## [2025-04-15] create | Wiki 初始化
|
||
- 领域：数学研究、AI/ML 研究、编程技术、学习笔记与阅读资料
|
||
- 创建结构：SCHEMA.md, index.md, log.md
|
||
- 目录结构：raw/, entities/, concepts/, comparisons/, queries/
|
||
|
||
## [2025-04-15] ingest | Mathematical methods and human thought in the age of AI
|
||
- 来源：arXiv:2603.26524
|
||
- 作者：[[Terence Tao]], [[Tanya Klowden]]
|
||
- 保存至：raw/papers/tao-ai-mathematical-methods-2026.md
|
||
- 创建页面：
|
||
- entities/papers/tao-klowden-ai-mathematical-methods.md
|
||
- entities/terence-tao.md
|
||
- entities/tanya-klowden.md
|
||
- concepts/human-centered-ai.md
|
||
- concepts/formal-verification.md
|
||
- concepts/ai-mathematics.md
|
||
- 更新 index.md：总页面数 6
|
||
|
||
## [2026-04-16] ingest | All elementary functions from a single binary operator
|
||
- 来源：arXiv:2603.21852 [cs.SC]
|
||
- 作者：[[Andrzej Odrzywołek]]
|
||
- 保存至：raw/papers/odrzywolek-eml-single-operator-2026.md
|
||
- 创建页面：
|
||
- papers/odrzywolek-eml-single-operator.md — EML 算子论文摘要
|
||
- entities/andrzej-odrzywolek.md — 作者实体页面
|
||
- concepts/eml-operator.md — EML 算子概念页面
|
||
- 更新 index.md：总页面数 9
|
||
- 关键概念：EML Sheffer 算子、二叉树语法、符号回归、连续数学完备性
|
||
|
||
## [2026-04-19] ingest | Memory Caching: RNNs with Growing Memory
|
||
- 来源：arXiv:2602.24281 [cs.LG]
|
||
- 作者：Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni
|
||
- 保存至：raw/papers/behrouz-memory-caching-rnn-2026.md
|
||
- 创建页面：
|
||
- papers/behrouz-memory-caching-rnn.md — MC 论文笔记
|
||
- concepts/memory-caching-rnn.md — Memory Caching 技术详解
|
||
- concepts/subquadratic-transformer-alternatives.md — 次二次 Transformer 替代方案综述
|
||
- 更新 index.md：总页面数 12
|
||
- 关键概念：Memory Caching、RNN 增长记忆、次二次复杂度、隐藏状态缓存、门控聚合
|
||
|
||
## [2026-04-19] ingest | "Are You Sure?": Human Perception Vulnerability in LLM Agents
|
||
- 来源：arXiv:2602.21127 [cs.HC]
|
||
- 作者：Xinfeng Li, Shenyu Dai, Kelong Zheng, Yue Xiao, Gelei Deng, Wei Dong, Xiaofeng Wang
|
||
- 保存至：raw/papers/li-amd-human-perception-2026.md
|
||
- 创建页面：
|
||
- papers/li-amd-human-perception.md — AMD 实证研究论文笔记
|
||
- concepts/agent-mediated-deception.md — AMD 攻击模式详解
|
||
- concepts/human-agent-trust.md — 人机信任与脆弱性
|
||
- 更新 index.md：总页面数 14
|
||
- 关键概念：Agent-Mediated Deception、HAT-Lab、认知失败模式、经验学习、信任校准
|
||
|
||
## [2026-04-19] ingest | Prefill-as-a-Service: KVCache Goes Cross-Datacenter
|
||
- 来源：arXiv:2604.15039 [cs.DC]
|
||
- 作者：Ruoyu Qin, Weiran He, Yaoyu Wang, Zheming Li, Xinran Xu, Yongwei Wu, Weimin Zheng, Mingxing Zhang
|
||
- 保存至：raw/papers/qin-prfaas-cross-datacenter-2026.md
|
||
- 创建页面：
|
||
- papers/qin-prfaas-cross-datacenter.md — PrfaaS 论文笔记
|
||
- concepts/prefill-as-a-service.md — PrfaaS 架构详解
|
||
- concepts/prefill-decode-disaggregation.md — PD 分离架构演进
|
||
- concepts/kvcache-transfer.md — KVCache 传输与优化
|
||
- 更新 index.md：总页面数 17
|
||
- 关键概念：Prefill-as-a-Service、跨数据中心部署、KVCache 传输、混合注意力、带宽感知调度
|
||
|
||
## [2026-04-19] ingest | Mixture-of-Depths Attention (MoDA)
|
||
- 来源：arXiv:2603.15619 [cs.LG]
|
||
- 作者：Lianghui Zhu, Yuxin Fang, Bencheng Liao, Shijie Wang, Tianheng Cheng, Zilong Huang, Chen Chen, Lai Wei, Yutao Zeng, Ya Wang, Yi Lin, Yu Li, Xinggang Wang
|
||
- 保存至：raw/papers/zhu-moda-mixture-of-depths-2026.md
|
||
- 创建页面：
|
||
- papers/zhu-moda-mixture-of-depths.md — MoDA 论文笔记
|
||
- concepts/mixture-of-depths-attention.md — MoDA 机制详解
|
||
- concepts/depth-scaling-signal-degradation.md — 深度扩展与信号退化问题
|
||
- 更新 index.md：总页面数 21
|
||
- 关键概念：Mixture-of-Depths Attention、信号退化、跨层 KV 访问、硬件高效实现、Post-Norm 优势
|
||
|
||
## [2026-04-19] ingest | OPPO 多模态数据湖实践 (WeChat Article)
|
||
- 来源：微信公众号文章 (DataFun / Data for AI Meetup)
|
||
- 分享人：David (OPPO 大数据架构负责人)
|
||
- 链接：https://mp.weixin.qq.com/s/cBaYa04qAIGsxG1hD7ll3w
|
||
- 保存至：raw/articles/oppo-multimodal-data-lake-2026.md
|
||
- 创建页面：
|
||
- articles/oppo-multimodal-data-lake.md — 文章核心架构与成果总结
|
||
- concepts/gravitino-unified-metadata.md — Gravitino 统一元数据管理
|
||
- concepts/curvine-distributed-cache.md — Curvine 分布式缓存系统
|
||
- 更新 index.md：新增 Articles 分区，总页面数 24
|
||
- 关键概念：多模态数据湖、Gravitino 元数据、Curvine 缓存、LanceDB 加速、混合云架构
|
||
|
||
## [2026-04-20] ingest | Spurious Predictability in Financial Machine Learning
|
||
- 来源：arXiv:2604.15531 [q-fin.ST, stat.ME, stat.ML]
|
||
- 作者：Sotirios D. Nikolopoulos
|
||
- 保存至：raw/papers/nikolopoulos-spurious-predictability-2026.md
|
||
- 创建页面：
|
||
- papers/nikolopoulos-spurious-predictability.md — 金融机器学习虚假可预测性论文笔记
|
||
- concepts/spurious-predictability.md — 虚假可预测性概念详解
|
||
- 更新 index.md：总页面数 30
|
||
|
||
## [2026-04-20] ingest | Hyperagents: Self-Referential Agents with Metacognitive Self-Modification
|
||
- 来源：arXiv:2603.19461 [cs.AI]
|
||
- 作者：Jenny Zhang, Bingchen Zhao, Wannan Yang, Jakob Foerster, Jeff Clune, Minqi Jiang, Sam Devlin, Tatiana Shavrina
|
||
- 保存至：raw/papers/zhang-hyperagents-2026.md
|
||
- 创建页面：
|
||
- papers/zhang-hyperagents.md — 超智能体论文笔记
|
||
- concepts/hyperagents.md — 超智能体概念详解
|
||
- concepts/self-improving-ai.md — 自我改进人工智能概念
|
||
- concepts/darwin-godel-machine.md — 达尔文·哥德尔机概念
|
||
- concepts/metacognitive-self-modification.md — 元认知自我修改概念
|
||
- 更新 index.md：总页面数 35
|
||
- 关键概念：超智能体、自我改进 AI、达尔文·哥德尔机、元认知自我修改、自我加速进展、可编辑元级
|
||
|
||
## [2026-04-20] fix | 修复超智能体相关概念的断链
|
||
- 修复问题：新创建页面中存在指向未创建概念的链接
|
||
- 创建缺失概念页面：
|
||
- concepts/meta-learning.md — 元学习概念
|
||
- concepts/recursive-self-improvement.md — 递归自我改进概念
|
||
- concepts/genetic-programming.md — 遗传编程概念
|
||
- concepts/program-synthesis.md — 程序合成概念
|
||
- concepts/cognitive-architecture.md — 认知架构概念
|
||
- concepts/singularity.md — 技术奇点概念
|
||
- 创建占位符概念页面（修复剩余断链）：
|
||
- concepts/ai-alignment.md — AI 对齐概念
|
||
- concepts/ai-safety.md — AI 安全概念
|
||
- concepts/neuroscience.md — 神经科学概念
|
||
- concepts/evolutionary-algorithms.md — 进化算法概念
|
||
- concepts/few-shot-learning.md — 少样本学习概念
|
||
- concepts/transfer-learning.md — 迁移学习概念
|
||
- 更新 index.md：总页面数 46
|
||
- 修复效果：消除所有新页面中的断链，建立完整的概念网络
|
||
- 关键概念：虚假可预测性、证伪审计、选择诱导性能膨胀、有效多重性、金融机器学习方法论
|
||
|
||
## [2026-04-22] ingest | ClawLess: A Security Model of AI Agents
|
||
- 来源：arXiv:2604.06284v1 [cs.CR]
|
||
- 作者：Hongyi Lu, Nian Liu, Shuai Wang, Fengwei Zhang
|
||
- 机构：南方科技大学，香港科技大学
|
||
- 保存至：raw/papers/lu-hongyi-clawless-ai-agent-security-2026.md
|
||
- 创建页面：
|
||
- papers/clawless-ai-agent-security.md — ClawLess 论文笔记
|
||
- concepts/clawless.md — ClawLess 安全框架概念
|
||
- concepts/ai-agent-security.md — AI 代理安全概念
|
||
- concepts/formal-security-model.md — 形式化安全模型概念
|
||
- concepts/userspace-kernel.md — 用户空间内核概念
|
||
- concepts/bpf-syscall-interception.md — BPF系统调用拦截概念
|
||
- concepts/secure-containers.md — 安全容器概念
|
||
- concepts/worst-case-threat-model.md — 最坏情况威胁模型概念
|
||
- 更新 index.md：总页面数 46 → 53
|
||
- 关键概念：ClawLess、AI代理安全、形式化安全模型、用户空间内核、BPF系统调用拦截、安全容器、最坏情况威胁模型
|
||
|
||
## [2026-04-22] ingest | Crawl4AI: 开源智能网页爬虫与数据提取工具
|
||
- 来源：知乎专栃 https://zhuanlan.zhihu.com/p/717965307
|
||
- 作者：沈飞
|
||
- 保存至：raw/articles/shenfei-crawl4ai-open-source-web-crawler-2024.md
|
||
- 创建页面：
|
||
- articles/crawl4ai-open-source-web-crawler.md — Crawl4AI 文章主页面
|
||
- concepts/crawl4ai.md — Crawl4AI 工具概念页面
|
||
- concepts/rag-systems.md — RAG 系统概念页面
|
||
- concepts/llm-applications.md — LLM 应用概念页面
|
||
- 更新 index.md：总页面数 53 → 57
|
||
- 关键概念：Crawl4AI、网页爬虫、数据提取、RAG、LLM应用、Markdown转换
|
||
|
||
---
|
||
|
||
---
|
||
|
||
## 2026-04-28 | 哥德尔不完备定理教程
|
||
|
||
- **来源**: PDF 直接提交 (godel_tutorial.pdf)，2026年4月综合教程
|
||
- **作者**: 无明确单一作者（面向数学系本科生的教学资料）
|
||
- **新增页面**: 25 个（1 论文 + 1 原始存档 + 23 概念）
|
||
- raw/papers/godel-tutorial-2026.md — 原始存档
|
||
- papers/godel-incompleteness-tutorial.md — 论文主页面
|
||
- concepts/godel-incompleteness-theorems.md — 哥德尔不完备定理
|
||
- concepts/godel-numbering.md — 哥德尔编码
|
||
- concepts/hilberts-program.md — 希尔伯特计划
|
||
- concepts/peano-arithmetic.md — 皮亚诺算术
|
||
- concepts/self-reference.md — 自指
|
||
- concepts/diagonalization-method.md — 对角线方法
|
||
- concepts/halting-problem.md — 停机问题
|
||
- concepts/lucas-penrose-argument.md — 卢卡斯-彭罗斯论证
|
||
- concepts/chaitin-algorithmic-information-theory.md — 算法信息论
|
||
- concepts/metamathematics.md — 元数学
|
||
- concepts/primitive-recursive-functions.md — 原始递归函数
|
||
- concepts/computability-theory.md — 可计算性理论
|
||
- concepts/formal-systems.md — 形式系统
|
||
- concepts/automated-theorem-proving.md — 自动定理证明
|
||
- concepts/paris-harrington-theorem.md — 巴黎-哈灵顿定理
|
||
- concepts/goodsteins-theorem.md — 古德斯坦定理
|
||
- concepts/russells-paradox.md — 罗素悖论
|
||
- concepts/continuum-hypothesis.md — 连续统假设
|
||
- concepts/consistency-logic.md — 一致性
|
||
- concepts/completeness-logic.md — 完备性
|
||
- concepts/mathematical-pluralism.md — 数学多元主义
|
||
- concepts/chaitin-constant.md — 蔡廷常数
|
||
- concepts/kolmogorov-complexity.md — 柯尔莫哥洛夫复杂度
|
||
- 更新 index.md：总页面数 71 → 96
|
||
- 关键概念：哥德尔不完备定理、哥德尔编码、自指、对角线方法、停机问题、希尔伯特计划、可计算性、形式系统
|
||
## [2026-04-29] ingest | 大语言模型注意力机制全面分析 (综述论文)
|
||
- 来源：用户直接上传 PDF (LLM注意力机制全面分析.pdf)
|
||
- 类型：综述论文 / Review Paper，2026年4月
|
||
- PDF：1385 行文本提取
|
||
- 新增文件 (21 个)：
|
||
- `raw/papers/llm-attention-survey-2026.md` — 原始论文存档
|
||
- `papers/llm-attention-survey-2026.md` — 论文主页面
|
||
- Tier 1 核心概念 (6 个)：
|
||
- `concepts/multi-head-attention.md` — MHA 标准多头注意力
|
||
- `concepts/grouped-query-attention.md` — GQA 分组查询注意力
|
||
- `concepts/multi-head-latent-attention.md` — MLA 多潜在头注意力
|
||
- `concepts/flash-attention.md` — FlashAttention IO感知优化
|
||
- `concepts/attention-entropy-collapse.md` — 注意力熵崩溃
|
||
- `concepts/kv-cache-bottleneck.md` — KV缓存内存瓶颈
|
||
- Tier 2 基础概念 (5 个)：
|
||
- `concepts/multi-query-attention.md` — MQA 多查询注意力
|
||
- `concepts/sparse-attention-patterns.md` — 稀疏注意力模式
|
||
- `concepts/linear-attention-methods.md` — 线性注意力方法
|
||
- `concepts/rotary-position-embedding.md` — RoPE 旋转位置编码
|
||
- `concepts/lost-in-the-middle.md` — Lost in the Middle 现象
|
||
- Tier 3 占位概念 (8 个)：
|
||
- `concepts/attention-sinks.md` — 注意力汇
|
||
- `concepts/flash-attention-3.md` — FlashAttention-3
|
||
- `concepts/mamba-ssm.md` — Mamba 状态空间模型
|
||
- `concepts/mixture-of-attention-schemes.md` — MoAS 注意力方案混合
|
||
- `concepts/duo-attention.md` — DuoAttention 双模式注意力
|
||
- `concepts/seer-attention.md` — SeerAttention 可学习稀疏
|
||
- `concepts/ntk-aware-interpolation.md` — NTK-aware 位置插值
|
||
- `concepts/native-sparse-attention.md` — NSA 原生稀疏注意力
|
||
- 更新 index.md：总页面数 96 → 116
|
||
- 关键概念：注意力机制演化谱系 (MHA→MQA→GQA→MLA)、FlashAttention、注意力退化、KV缓存瓶颈、Lost in the Middle
|
||
- 网络连接：与已有概念 CSA、HCA、混合注意力架构、DeepSeek-V4 等形成密集交叉引用
|
||
## [2026-04-29] ingest | GPT-Image-2 绘图 Prompt 方法论与风格合集
|
||
- 来源：linux.do 论坛 (sallyn)，https://linux.do/t/topic/2044964
|
||
- 类型：论坛教程/经验分享 (2026-04-24)，整理于 2026-04-28
|
||
- 新增文件 (11 个)：
|
||
- `raw/articles/sallyn-gpt-image2-prompt-collection-2026.md` — 原始摘录存档
|
||
- `articles/gpt-image2-prompt-collection.md` — 文章主页面
|
||
- Tier 1 核心概念 (3 个)：
|
||
- `concepts/gpt-image2.md` — GPT-Image-2 图像生成工具
|
||
- `concepts/prompt-reverse-engineering.md` — 图片反推 Prompt：15维分析框架
|
||
- `concepts/image-generation-prompt-design.md` — 图像生成 Prompt 设计方法论
|
||
- Tier 2 风格概念 (6 个)：
|
||
- `concepts/russian-constructivism.md` — 俄国构成主义
|
||
- `concepts/glitch-art-style.md` — 故障艺术
|
||
- `concepts/cel-shading-style.md` — 赛璐璐风格
|
||
- `concepts/risograph-print-style.md` — Riso印刷风格
|
||
- `concepts/halftone-print-style.md` — 半调印刷风格
|
||
- `concepts/klein-blue.md` — 克莱因蓝
|
||
- 更新 index.md：总页面数 116 → 126
|
||
- 关键概念：GPT-Image-2、Prompt反推工程、15维美学分析框架、5种核心艺术风格
|
||
- 特色：首次将 AI 图像生成工具链和艺术风格概念纳入 wiki 知识网络
|
||
## [2026-04-29] ingest | Caddy 反向代理认证方案
|
||
- 来源：用户直接上传 TXT
|
||
- 类型：技术教程/配置指南
|
||
- 新增文件 (6 个)：
|
||
- `raw/articles/caddy-reverse-proxy-auth-2026.md` — 原始文档存档
|
||
- `articles/caddy-reverse-proxy-auth.md` — 文章主页面
|
||
- 概念 (4 个)：
|
||
- `concepts/caddy-web-server.md` — Caddy Web 服务器
|
||
- `concepts/reverse-proxy-authentication.md` — 反向代理层认证模式
|
||
- `concepts/api-key-authentication.md` — API Key 认证机制
|
||
- `concepts/forward-authentication.md` — 外部委托认证模式
|
||
- 更新 index.md：总页面数 126 → 131
|
||
- 关键概念：命名匹配器、反向代理认证、API Key 白名单、forward_auth 委托
|
||
- 特色：首次将 Web 服务器/反向代理/认证基础设施概念纳入 wiki
|
||
## [2026-04-29] ingest | How Far Can Unsupervised RLVR Scale LLM Training? (arXiv:2603.08660)
|
||
- 来源：arXiv API (2603.08660)
|
||
- 作者：He, Zuo, Liu et al. (22 authors, Tsinghua/Shanghai AI Lab et al.)
|
||
- 会议：ICLR 2026
|
||
- PDF：7121 行文本提取
|
||
- 新增文件 (13 个)：
|
||
- `raw/papers/he-urlvr-sharpening-2026.md` — 原始存档
|
||
- `papers/he-urlvr-sharpening-2026.md` — 论文主页面
|
||
- Tier 1 核心概念 (4 个)：
|
||
- `concepts/unsupervised-rlvr.md` — URLVR 范式定义
|
||
- `concepts/intrinsic-rewards-sharpening.md` — Sharpening 统一理论
|
||
- `concepts/model-collapse-step.md` — MCS 模型崩溃步
|
||
- `concepts/self-verification-rewards.md` — 自我验证外部奖励
|
||
- Tier 2 基础概念 (4 个)：
|
||
- `concepts/reward-hacking-llm.md` — 奖励黑客与模型崩溃
|
||
- `concepts/certainty-based-rewards.md` — 确定性奖励
|
||
- `concepts/ensemble-based-rewards.md` — 集成奖励/多数投票
|
||
- `concepts/generation-verification-asymmetry.md` — 生成-验证不对称性
|
||
- Tier 3 占位概念 (3 个)：
|
||
- `concepts/rlvr-unified-framework.md` — RLVR 统一框架
|
||
- `concepts/test-time-training-rl.md` — 测试时训练 RL
|
||
- `concepts/confidence-correctness-alignment.md` — 置信度-正确性对齐
|
||
- 更新 index.md：总页面数 131 → 143
|
||
- 关键概念：URLVR、Sharpening机制、Rise-then-Fall模式、Model Collapse Step、Self-verification突破
|
||
- 特色：首次将 RLVR/URLVR/奖励黑客等 LLM 后训练理论概念纳入 wiki
|
||
---
|
||
## 2026-04-30 20:08 — Thinking with Visual Primitives (DeepSeek-AI, 2026)
|
||
|
||
**来源**: GitHub (deepseek-ai/Thinking-with-Visual-Primitives)
|
||
**类型**: 技术报告 / 研究论文
|
||
**领域**: Multimodal AI / Visual Reasoning
|
||
|
||
### 新增页面 (21)
|
||
- **Papers**: [[thinking-with-visual-primitives]] — 视觉原语思考框架主页面
|
||
- **Raw**: raw/papers/deepseek-visual-primitives-2026.md
|
||
|
||
### 新增概念 (20)
|
||
- [[visual-primitives]] — 视觉原语：框+点作为思维最小单位
|
||
- [[reference-gap]] — 引用鸿沟：语言空间指代模糊
|
||
- [[perception-gap]] — 感知鸿沟：分辨率限制的视觉细节丢失
|
||
- [[chain-of-thought]] — 思维链 (CoT) 的多模态扩展
|
||
- [[multimodal-large-language-model]] — MLLM 背景概念
|
||
- [[system-2-thinking]] — System 2 思维与视觉推理
|
||
- [[deepseek-vit]] — DeepSeek 视觉 Transformer
|
||
- [[deepseek-v4-flash]] — 语言骨干模型
|
||
- [[token-efficiency]] — Token 效率 (7056× 压缩)
|
||
- [[coarse-grained-counting]] — 粗粒度计数
|
||
- [[fine-grained-counting]] — 细粒度计数
|
||
- [[maze-navigation]] — 迷宫导航
|
||
- [[path-tracing]] — 路径追踪
|
||
- [[group-relative-policy-optimization]] — GRPO 算法
|
||
- [[specialized-sft]] — 专项监督微调
|
||
- [[specialized-rl]] — 专项强化学习
|
||
- [[unified-rft]] — 统一拒绝采样微调
|
||
- [[exponential-decay-reward]] — 指数衰减奖励
|
||
- [[bidirectional-trajectory-evaluation]] — 双向轨迹评估
|
||
- [[reward-model]] — 奖励模型体系
|
||
|
||
### 交叉链接
|
||
与已有概念 [[compressed-sparse-attention]]、[[on-policy-distillation]]、[[mixture-of-experts]]、[[deepseek-v4-million-token-context]] 建立双向链接。
|
||
|
||
### Wiki 规模
|
||
143 → 164 页
|
||
|
||
## [2026-05-01] ingest | CL-Bench Life: 真实生活上下文学习基准
|
||
- **来源**：arXiv:2604.27043 [cs.CL]
|
||
- **作者**：Hunyuan Team (Tencent) & Fudan University
|
||
- **日期**：2026-04-29
|
||
- **PDF**：4.9MB，提取 3879 行文本
|
||
- **新增文件 (10 个)**：
|
||
- `raw/papers/hunyuan-team-cl-bench-life-2026.md` — 原始论文存档
|
||
- `papers/hunyuan-team-cl-bench-life.md` — 论文主页面
|
||
- Tier 1 核心概念 (3 个)：
|
||
- `concepts/cl-bench-life.md` — CL-bench Life 基准设计
|
||
- `concepts/real-life-context-learning.md` — 真实生活上下文学习能力
|
||
- `concepts/context-misuse.md` — 上下文误用：首要失败模式
|
||
- Tier 2 基础概念 (1 个)：
|
||
- `concepts/messy-context-reasoning.md` — 混乱上下文推理
|
||
- Tier 2/3 占位概念 (4 个)：
|
||
- `concepts/context-learning.md` — 通用上下文学习
|
||
- `concepts/llm-evaluation-benchmarks.md` — LLM 评测基准体系
|
||
- `concepts/long-context-understanding.md` — 长上下文理解
|
||
- `concepts/identity-reference-resolution.md` — 身份指代消解
|
||
- **更新 index.md**：总页面数 164 → 173
|
||
- **关键概念**：真实生活上下文学习、CL-bench Life、上下文误用（76-84%错误）、混乱上下文推理、三大上下文类别
|
||
- **核心发现**：最佳模型仅 19.3% 解决率；上下文误用是首要失败模式；长上下文能力与混乱上下文推理不等价
|
||
|
||
## [2026-05-01] lint | Wiki 全面健康检查与大修
|
||
- **检查范围**：181 个 wiki 页面
|
||
- **修复前问题**：462 total（117 断链 + 121 索引重复 + 106 缺失 frontmatter + 18 孤儿 + 等）
|
||
- **修复操作**：
|
||
1. **索引去重**：732 条概念条目 → 154 条唯一，26 条论文 → 15 条唯一，文件从 810 行压缩到 198 行
|
||
2. **断链清零**：117 → 0，批量修复中文 wikilink 目标错误（ClawLess 系列、Tao/Klowden 系列等）
|
||
3. **缺失索引条目**：补回 5 个概念 + 4 篇文章 + 清理 2 个坏条目
|
||
4. **Frontmatter 补全**：106 → 0，全量补充 YAML frontmatter
|
||
5. **孤儿概念链接**：3 个 URLVR 相关概念加回 inbound link
|
||
6. **文件移动**：entities/papers/tao-klowden-ai-mathematical-methods.md → papers/
|
||
- **修复后状态**：
|
||
- 断链：0 ✅
|
||
- 缺失 frontmatter：0 ✅
|
||
- 索引条目：173，声明总数：181（差值 8 为 reviews/extracts）
|
||
- 孤儿：7（全部为 reviews/extracts，有意设计）
|
||
- 页面数不变：181
|
||
|
||
## [2026-05-01] ingest | Agent网络三层分类法综述
|
||
- **来源**：TechRxiv (DOI: 10.36227/techrxiv.177127384.46731320/v1)
|
||
- **作者**：Xinyuan Song (Emory), Qingsong Wen (Oxford), Shirui Pan (Griffith), Liang Zhao (Emory)
|
||
- **日期**：2026-02-16
|
||
- **PDF**：用户直接上传，提取 2084 行文本
|
||
- **新增文件 (9 个)**：
|
||
- `raw/papers/song-agent-network-taxonomy-2026.md` — 原始论文存档
|
||
- `papers/song-agent-network-taxonomy.md` — 论文主页面
|
||
- Tier 1 核心概念 (4 个)：
|
||
- `concepts/agent-network-taxonomy.md` — 三层级分类法
|
||
- `concepts/agent-network-topology.md` — 拓扑维度（集中式vs去中心化）
|
||
- `concepts/agent-network-memory-scope.md` — 记忆范围维度（全局vs局部）
|
||
- `concepts/agent-network-update-behavior.md` — 更新行为维度（静态vs动态）
|
||
- Tier 2 基础概念 (3 个)：
|
||
- `concepts/centralized-agent-architecture.md` — 集中式架构详解
|
||
- `concepts/decentralized-agent-architecture.md` — 去中心化架构详解
|
||
- `concepts/agent-communication-stack.md` — 三层通信协议栈
|
||
- **交叉链接**：与 [[cognitive-architecture]]、[[hyperagents]] 建立双向链接
|
||
- **更新 index.md**：总页面数 181 → 189
|
||
- **关键概念**：Agent网络三层分类法、8种系统类别、通信协议栈、MCP标准化
|
||
- **核心贡献**：嵌套式分类框架(A=(V,E,M,Π))→8种类别；识别语义层为大规模系统首要失败点
|
||
|
||
## [2026-05-01] ingest | CL-bench: 首个上下文学习基准
|
||
- **来源**：arXiv:2602.03587 [cs.CL]
|
||
- **作者**：Shihan Dou, Ming Zhang, Zhangyue Yin et al. (27 authors, Fudan Univ. & Tencent Hunyuan)
|
||
- **日期**：2026-02-03
|
||
- **PDF**：1.8MB，提取 6713 行文本
|
||
- **新增/更新文件 (7 个)**：
|
||
- `raw/papers/dou-cl-bench-2026.md` — 原始论文存档
|
||
- `papers/dou-cl-bench.md` — 论文主页面
|
||
- `concepts/context-learning.md` — 从占位页升级为完整概念页
|
||
- Tier 1 类别概念 (4 个)：
|
||
- `concepts/domain-knowledge-reasoning.md` — 领域知识推理（7子类）
|
||
- `concepts/rule-system-application.md` — 规则系统应用（5子类）
|
||
- `concepts/procedural-task-execution.md` — 程序性任务执行（3子类）
|
||
- `concepts/empirical-discovery-simulation.md` — 经验发现与模拟（3子类）
|
||
- **更新 index.md**：总页面数 189 → 195
|
||
- **关键概念**：Context Learning 范式定义、CL-bench 四类别框架、污染防护设计
|
||
- **核心发现**：十模型平均 17.2%/最佳 23.7%；归纳推理（经验发现）是最瓶颈；法律推理 >40% vs 数学形式化 <15%
|
||
- **与已有概念的连接**：与 [[cl-bench-life]]、[[real-life-context-learning]]、[[context-misuse]] 形成 CL-bench 系列完整知识网络
|
||
|
||
## [2026-05-11] ingest | Prompt Caching 架构工程手册 (微信公众号)
|
||
- 来源：https://mp.weixin.qq.com/s/gyd4cqxadv3YW5Fe09r95g
|
||
- 类型：工程实践教程 (Article)
|
||
- 案例系统：Meta-JCTrader（高频交易 + RL + Meta-Learning）
|
||
- 新增文件 (15 个)：
|
||
- `raw/articles/prompt-caching-architecture-2026.md` — 原始文章存档
|
||
- `articles/prompt-caching-architecture.md` — 文章主页面
|
||
- 核心概念 (12 个)：
|
||
- `concepts/prompt-caching.md` — Prompt Caching
|
||
- `concepts/prefix-matching.md` — 前缀匹配
|
||
- `concepts/prompt-layering.md` — 提示分层 (Global/Project/Session/Dynamic)
|
||
- `concepts/stub-pattern.md` — Stub 模式（轻量化桩）
|
||
- `concepts/tool-registry.md` — ToolRegistry 统一接口
|
||
- `concepts/cache-safe-forking.md` — 缓存安全分叉
|
||
- `concepts/cache-invalidation.md` — 缓存失效
|
||
- `concepts/cache-hit-ratio.md` — 缓存命中率 (CHR)
|
||
- `concepts/context-compression.md` — 上下文压缩
|
||
- `concepts/system-message-abuse.md` — System Message 滥用反模式
|
||
- `concepts/cache-health-observability.md` — 缓存健康度可观测性
|
||
- `concepts/meta-jctrader.md` — Meta-JCTrader 案例
|
||
- 占位符概念 (2 个)：
|
||
- `concepts/agentic-systems.md` — Agentic Systems
|
||
- `concepts/reinforcement-learning-trading.md` — 强化学习交易
|
||
- 索引：195 → 203 页（全量重建）
|
||
- 关键概念：四层架构分层、Stub模式/ToolRegistry、Cache-Safe Forking、CHR监控
|
||
- Review: `reviews/prompt-caching-architecture-review-20260511.md`
|
||
|
||
## [2026-05-11] ingest | 拉姆齐数的数学综述 (用户上传)
|
||
- 来源：用户上传 Markdown (RNS.md)
|
||
- 日期：2025年6月
|
||
- 类型：数学综述 (Survey)
|
||
- 新增文件 (18 个)：
|
||
- `raw/papers/ramsey-numbers-survey-2025.md` — 原始综述存档
|
||
- `papers/ramsey-numbers-survey.md` — 论文主页面
|
||
- 核心概念 (12 个)：
|
||
- `concepts/ramsey-theory.md` — 拉姆齐理论
|
||
- `concepts/ramsey-numbers.md` — 拉姆齐数
|
||
- `concepts/diagonal-ramsey-number.md` — 对角拉姆齐数
|
||
- `concepts/probabilistic-method.md` — 概率方法 (Erdős 1947)
|
||
- `concepts/hypergraph-ramsey-number.md` — 超图拉姆齐数
|
||
- `concepts/geometric-ramsey-theory.md` — 几何拉姆齐理论
|
||
- `concepts/additive-combinatorics.md` — 加法组合学
|
||
- `concepts/van-der-waerden-theorem.md` — van der Waerden 定理
|
||
- `concepts/paris-harrington-theorem.md` — 巴黎-哈灵顿定理
|
||
- `concepts/green-tao-theorem.md` — Green-Tao 定理 (素数等差数列)
|
||
- `concepts/szemerédi-regularity-lemma.md` — Szemerédi 正则性引理
|
||
- `concepts/ramsey-theory-applications.md` — 拉姆齐理论跨学科应用
|
||
- 占位符概念 (4 个)：
|
||
- `concepts/paley-graph.md` — Paley 图
|
||
- `concepts/lovasz-local-lemma.md` — Lovász 局部引理
|
||
- `concepts/random-graph-theory.md` — 随机图理论
|
||
- `concepts/furstenberg-correspondence.md` — Furstenberg 对应原理
|
||
- 索引：203 → 219 页（全量重建）
|
||
- 关键概念：Ramsey 理论核心信条、概率方法、Green-Tao 定理、Paris-Harrington 不可判定性
|
||
- Review: `reviews/ramsey-numbers-survey-review-20260511.md`
|
||
- 与已有概念的连接：[[godel-incompleteness-theorems]] (via Paris-Harrington)
|
||
|
||
## [2026-05-11] ingest | 上下文构造与拉姆齐数 (用户上传)
|
||
- 来源：用户上传 Markdown
|
||
- 类型：方法论设计 (Methodology)
|
||
- 核心思路：将拉姆齐理论的"必然涌现的秩序"映射到 Agent 上下文构筑
|
||
- 新增文件 (7 个)：
|
||
- `raw/articles/ramsey-context-construction-2026.md` — 原始文档存档
|
||
- `articles/ramsey-context-construction.md` — 方法论主页面
|
||
- 核心概念 (5 个)：
|
||
- `concepts/ramsey-context-graph.md` — 拉姆齐上下文图（蓝/红边兼容性建模）
|
||
- `concepts/ramsey-context-cache.md` — 拉姆齐上下文缓存（三层机制）
|
||
- `concepts/context-blue-clique.md` — 上下文蓝色团（全兼容骨架）
|
||
- `concepts/greedy-context-screening.md` — 贪心上下文筛选（三步快速组装）
|
||
- `concepts/ramsey-context-template.md` — 拉姆齐上下文模板（KV cache 优化）
|
||
- 索引：219 → 225 页（全量重建）
|
||
- 关键概念：兼容图建模、R(3,3)=6 保证、蓝色团模板、贪心团搜索
|
||
- Review: `reviews/ramsey-context-construction-review-20260511.md`
|
||
- 桥梁作用：连接 [[ramsey-theory|拉姆齐理论]]（数学）与 [[prompt-caching|Prompt Caching]]（工程）
|
||
|
||
## [2026-05-11] ingest | Koopa: Koopman 预测器驱动的非平稳时序学习 (arXiv)
|
||
- 来源：https://arxiv.org/abs/2305.18803
|
||
- 作者：Yong Liu, Chenyu Li, Jianmin Wang, Mingsheng Long (Tsinghua)
|
||
- 会议：NeurIPS 2023
|
||
- 新增文件 (9 个)：
|
||
- `raw/papers/liu-koopa-2023.md` — 原始论文存档
|
||
- `papers/liu-koopa-2023.md` — 论文主页面
|
||
- 核心概念 (7 个)：
|
||
- `concepts/koopman-theory.md` — Koopman 理论（非线性→线性映射）
|
||
- `concepts/koopman-predictor.md` — Koopman 预测器
|
||
- `concepts/fourier-filter-dynamics.md` — Fourier Filter 动力学分解
|
||
- `concepts/dynamic-mode-decomposition.md` — DMD 动态模式分解
|
||
- `concepts/non-stationary-time-series.md` — 非平稳时间序列
|
||
- `concepts/koopman-autoencoder.md` — Koopman 自编码器 (KAE)
|
||
- `concepts/time-variant-dynamics.md` — 时变动力学
|
||
- 索引：225 → 233 页（全量重建）
|
||
- 关键结果：SOTA 竞争性能 + 77.3% 训练时间节省 + 76.0% 内存节省
|
||
- Review: `reviews/koopa-review-20260511.md` |