20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,55 @@
---
title: "Review: DSpark — Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation"
created: 2026-06-28
updated: 2026-06-28
type: review
tags: [speculative-decoding, llm-inference, serving-optimization, deepseek]
sources: [DSpark]
---
# 📌 基本信息
- **论文标题**: DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
- **作者**: Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong 等(北京大学 & DeepSeek-AI
- **领域**: LLM Inference, Speculative Decoding, Serving Systems
- **来源**: DeepSeek DeepSpec Repository (GitHub)
- **添加时间**: 2026-06-28
# 🎯 核心概念
1. **半自回归生成Semi-Autoregressive Generation** — 将草稿生成分为并行骨干($O(1)$延迟)和轻量级顺序头(注入块内依赖),融合并行速度与自回归质量。顺序头有 Markov 头(一阶转移,低秩分解 $r=256$)和 RNN 头(门控循环累积前缀历史)两种实例化
2. **置信度调度验证Confidence-Scheduled Verification** — 置信度头 $c_k = \sigma(w^\top[h_k; W_1[x_{k-1}]])$ 预测每位置条件存活概率,硬件感知前缀调度器将验证长度选择形式化为 $\Theta = \tau \cdot \text{SPS}(B)$ 的全局吞吐量最大化问题
3. **硬件感知前缀调度器** — 贪心排序所有请求的 $a_{r,j}$(前缀存活概率),逐条接纳并 $O(1)$ 查表更新吞吐量,早停保证因果性。生产环境采用异步 ZOS 适配和无约束全局搜索应对非平滑硬件曲线
4. **顺序温度缩放STS** — 利用链式法则 $\prod c_i$,逐位置 1D 网格搜索最小化累积 ECE保序修正置信度幅度ECE 从 3-8% 降至 ~1%
5. **逐位置条件接受率分析** — 移除前缀惩罚的细粒度度量揭示了并行草稿器位置1高→后缀衰减vs 自回归草稿器位置1低→后缀上升的结构性差异
# 🔗 概念网络
**核心连接**: [[speculative-decoding|投机解码Speculative Decoding]] → [[semi-autoregressive-generation|半自回归生成Semi-Autoregressive Generation]] → [[confidence-scheduled-verification|置信度调度验证Confidence-Scheduled Verification]] → [[hardware-aware-prefix-scheduler|硬件感知前缀调度器Hardware-Aware Prefix Scheduler]]
**组件子图**: [[markov-draft-head|马尔可夫草稿头Markov Draft Head]] ↔ [[rnn-draft-head|RNN 草稿头]][[confidence-head|置信度头Confidence Head]] → [[sequential-temperature-scaling|Sequential Temperature Scaling]]
**基线对比轴**: [[DFlash]](并行基线)↔ [[Eagle3]](自回归基线)↔ [[MTP]](生产基线)
**分析工具**: [[cross-mode-collision|跨模态碰撞Cross-Mode Collision]] → [[position-wise-conditional-acceptance|位置条件接受率Position-wise Conditional Acceptance]][[prefix-survival-probability|前缀存活概率Prefix Survival Probability]] → [[kv-injection|KV 注入KV Injection]]
**系统影响**: [[pareto-frontier-llm-serving|Pareto Frontier (LLM Serving)]]
# 📚 Wiki 集成
- **新增页面**: 17 个1 论文 + 16 概念)
- **概念网络扩展**: 全新领域——投机解码/推理加速,此前 wiki 无相关页面
- **链接密度**: 论文页 16 条 wikilink核心概念平均 4-6 条交叉引用,伞概念最多 8 条
- **网络完整**: 待验证
# 💡 关键洞察
**1. 并行草稿器的"容量悖论"**。DSpark 论文最反直觉的发现:并行草稿器的总接受长度反超自回归草稿器,尽管其逐 token 建模能力更弱。根因在于前缀接受机制的非对称杠杆效应——第一个位置的接受率对整个块的影响远超后续位置,而 $O(1)$ 延迟允许并行草稿器使用 5 倍深度,在位置 1 上建立不可逾越的容量优势。这颠覆了"逐 token 建模能力 = 更好加速"的直觉。
**2. 从"质量优化"到"预算路由"的范式转移**。DSpark 的核心贡献不是提升草稿质量的绝对值,而是用系统意识重新定义了"什么是好的草稿"。硬件感知前缀调度器将决策从 token 级别的"这个 token 好不好"提升为系统级别的"这个 token 的期望系统收益是否为正"——闲置计算时值得多验证、高并发时必须克制。这一思路将投机解码从单纯的算法问题重构为资源调度问题。
**3. 校准与调度的耦合**。DSpark 是首个将置信度校准STS与系统调度prefix scheduler紧密耦合的工作。静态阈值方法只需要排名的相对正确性而吞吐量最大化的目标函数要求存活概率的绝对幅度准确——这使得校准从可选的质量改进变为调度器的功能前提。

View File

@@ -0,0 +1,54 @@
---
title: "Review: GR4AD — Generative Recommendation for Large-Scale Advertising"
created: 2026-06-28
updated: 2026-06-28
type: review
tags: [generative-recommendation, advertising, production-system, kuaishou]
sources: [GR4AD]
---
# 📌 基本信息
- **论文标题**: Generative Recommendation for Large-Scale Advertising (GR4AD)
- **作者**: Ben Xue, Dan Liu, Lixiang Wang 等 (Kuaishou Technology)
- **领域**: Generative Recommendation, Advertising Systems, Online Learning
- **arXiv**: 2602.22732
- **添加时间**: 2026-06-28
# 🎯 核心概念
1. **UA-SIDUnified Advertisement Semantic ID** — 端到端微调广告 MLLM 生成统一嵌入 + MGMR RQ-Kmeans 量化,解决广告场景多模态多粒度业务信号联合建模的 tokenization 难题
2. **LazyARLazy Autoregressive Decoder** — 将解码器分为共享段($K$ 层,级别无关)和注入段($L-K$ 层,逐级注入前级 token计算量从 $T \cdot L$ 降至 $K + T \cdot (L-K)$,近翻倍 QPS
3. **VSLValue-Aware Supervised Learning** — 通过 eCPM token 预测 + 用户行为双重加权将业务价值信号嵌入监督学习,实现非 RL 路径的价值感知
4. **RSPORanking-Guided Softmax Preference Optimization** — LambdaRank 驱动的 list-wise RL显式优化 NDCG自适应参考门控应对异构训练数据
5. **Unified VSL-RSPO** — 样本级对齐分数 $A(i)$ 动态平衡"模仿历史分布"和"向高价值探索",支持持续在线学习
6. **DBSDynamic Beam Serving** — 渐进递增束宽DBW+ 流量感知自适应束搜索TABS谷值期利用闲置计算拓展探索
# 🔗 概念网络
**核心三轴**:
- **Tokenization 轴**: [[generative-recommendation|生成式推荐Generative Recommendation]] → [[semantic-id|Semantic ID]] → [[ua-sid|UA-SID]] → [[mgmr-rq-kmeans|MGMR RQ-Kmeans]]
- **学习轴**: [[value-aware-supervised-learning|VSL]] → [[rspo|RSPO]] → [[unified-vsl-rspo|统一 VSL-RSPO 学习]]
- **服务轴**: [[lazyar|LazyAR]] → [[dynamic-beam-serving|DBS]] → [[beam-shared-kv-caching|Beam-Shared KV Caching]] → [[reco-result-cache|Recommendation Result Cache]]
**跨域连接**: LazyAR 与 [[MTP]]DeepSeek 多 token 预测)形成架构对比——两者均为后续位置复用前几层,但 LazyAR 的"延迟注入"在短序列多候选场景更高效。
# 📚 Wiki 集成
- **新增页面**: 13 个1 论文 + 12 概念)
- **概念网络扩展**: 全新领域——生成式推荐/广告系统,此前 wiki 无推荐相关页面
- **链接密度**: 论文页 15 条 wikilink核心概念平均 3-5 条交叉引用
- **总规模**: 1,295 → **1,308** 页(预计)
# 💡 关键洞察
**1. "广告原生"生成式推荐的 co-design 范式**。GR4AD 的核心洞察是LLM 风格的训练和推理 recipe 直接搬用到广告场景是不够的。广告需要自己的 tokenizationUA-SID 的 MLLM 微调 + MGMR 量化、自己的学习范式VSL + RSPO 的列表级优化、自己的解码架构LazyAR 的短序列多候选设计)。这种全栈 co-design 是 4.2% 收入提升的系统性基础。
**2. RSPO 将 LambdaRank 注入生成式 RL**。传统 LambdaRank 是 learning-to-rank 的基石GR4AD 将其 pairwise NDCG 梯度结构嵌入 softmax 偏好优化框架实现了生成式推荐中首个理论有界NDCG 代价上界)的 list-wise RL 算法。参考门控的设计也务实——不追求理论完美,承认生产数据的异构性和参考分布的不可靠性。
**3. LazyAR 体现了"推荐原生"的效率取舍**。与 LLM 推理优化追求通用加速不同LazyAR 利用了推荐场景的结构特性:多级 SID 中第一级信息量最大、后续级别可大量共享计算。这种领域感知的架构设计使得 GR4AD 在 500+ QPS/L20 下实现 <100ms 延迟——对于服务 4 亿用户的实时广告系统至关重要

View File

@@ -0,0 +1,46 @@
---
title: "LEAP Review"
created: 2026-07-03
updated: 2026-07-03
type: review
tags: ["review", "formal-mathematics", "theorem-proving", "agentic"]
---
# LEAP: Agentic Formal Theorem Proving — Review
📌 **基本信息**
- 论文LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks
- 作者Po-Nien Kung et al. (Google Cloud AI / DeepMind)
- arXiv2606.03303 | 领域cs.AI | 日期2026-06-02
- 代码:[google-deepmind/superhuman/leap](https://github.com/google-deepmind/superhuman/tree/main/leap)
🎯 **核心概念**
1. **AND-OR DAG 分层记忆化** — 证明树组织为有向无环图OR 节点=开放目标AND 节点=候选分解。支持单调精化、跨分支引理复用、预期引理规划
2. **蓝图驱动 ATP** — 仿效人类数学家工作流:非正式蓝图 → 形式化证明草图 → 子目标递归。直接形式化失败后的回退策略
3. **非正式-形式化交错规划** — LLM 管策略推理自然语言Lean 管严格验证(代码)。在形式化之前先用非正式草图规划
4. **验证引导证明搜索** — 双层Lean 编译器(硬约束)+ LLM Reviewer软约束/搜索过滤器)。消融实验证明 Reviewer 不可省略
5. **Lean-IMO-Bench** — 60 题 IMO 级新基准,专为测试非平凡洞察和长链多步证明设计
🔗 **概念网络**
- 核心三角:[[blueprint-driven-atp|蓝图驱动]] ↔ [[and-or-dag-memoization|DAG 记忆化]] ↔ [[verification-guided-proof-search|验证引导搜索]]
- 伞概念连接:[[formal-theorem-proving|形式化定理证明]] → [[lean-proof-assistant|Lean]] → [[autoformalization|自动形式化]]
- 跨域关联LEAP 的 agentic 设计与 [[workspace-first-architecture|Workspace-first]] 共享「分解+隔离」的设计范式
- 新增 10 概念 + 1 论文 = 11 页
📚 **Wiki 集成**
| 组件 | 状态 |
|------|------|
| `papers/leap-agentic-formal-math-2026.md` | ✅ |
| `raw/papers/leap-agentic-formal-math-2026.md` | ✅ |
| 伞概念 ×3 | ✅ |
| 专属概念 ×7 | ✅ |
| Review | ✅ |
💡 **关键洞察**
1. **通用 LLM 可以超越专用 ATP 模型** — 前提是有正确的 agentic 框架。LEAP 证明瓶颈不在语言理解而在缺乏结构化迭代交互。Putnam 2025 12/12Lean-IMO-Bench 70%vs 专用 Aristotle 的 48%),仅 2 次 rollout
2. **「非正式蓝图 → 形式化代码」的双层规划是通用范式** — 这不仅是 ATP 的设计模式,也是任何需要 LLM 在严格约束下生成代码的通用策略:先规划、再翻译、验证反馈迭代
3. **LLM Reviewer 作为搜索启发式** — 当前只是过滤弱分解,但方向是 LLM 作为启发式评估器引导搜索(不只在 ATP在 Agent 规划中也是通用方向)

View File

@@ -0,0 +1,38 @@
---
title: "Ramsey 下界指数改进 — Review"
created: 2026-06-29
type: review
paper: ramsey-sphere-lowerbound
---
# 📌 基本信息
- **论文**An exponential improvement for Ramsey lower bounds
- **作者**Jie Ma (USTC/清华丘成桐中心), Wujie Shen (清华), Shengjie Xie (USTC)
- **领域**:组合数学 / Ramsey 理论math.CO
- **arXiv**2507.12926v2
- **添加时间**2026-06-29
# 🎯 核心概念
1. **随机球面图 G_{k,p}(n)** — 在 k 维单位球面上均匀采样点并随机连边,将经典概率方法从离散推广到连续几何空间
2. **完美序列 (Perfect Sequences)** — 新引入的组合结构,将球面点的邻接模式编码为可分析的离散形式
3. **Ramsey 数 r(, C)** — 组合数学核心对象78 年来下界首次指数突破
# 🔗 概念网络
- **核心连接**[[random-sphere-graph|随机球面图]] ↔ [[perfect-sequences|完美序列]] ↔ [[ramsey-sphere-lowerbound|论文主页]]
- **已有网络对接**:连接了 [[ramsey-numbers|Ramsey 数]]、[[probabilistic-method|概率方法]]、[[random-graph-theory|随机图理论]]、[[lovasz-local-lemma|Lovász 局部引理]]、[[ramsey-theory|Ramsey 理论]]
- **更新已有概念**[[ramsey-numbers]] (新下界结果)、[[probabilistic-method]] (几何推广)
- **扩展网络**5 个新增连接0 断链
# 📚 Wiki 集成
- 新增页面3 个1 论文 `ramsey-sphere-lowerbound` + 2 概念 `random-sphere-graph``perfect-sequences`
- 更新页面2 个ramsey-numbers、probabilistic-method
- 链接完整性100% 零断链
# 💡 关键洞察
1. **方法论跃迁**从离散随机图Erdős-Rényi到连续球面测度——这不是渐进改进而是概率方法的维度升级。几何的引入使指数壁垒首次被突破
2. **意义**Ramsey 数下界自 1947 年以来停滞了 78 年Spencer 1975 仅为常数因子)。本文的随机球面图方法可能开启 Ramsey 理论中几何概率方法的新分支

View File

@@ -0,0 +1,48 @@
---
title: "Rubrics Survey Review"
created: 2026-06-27
updated: 2026-06-27
type: review
paper: "rubrics-survey-2026"
---
# Review: The Rules of the Game — A Survey of Rubrics for LLMs
## 📌 基本信息
- **标题**: The Rules of the Game: A Survey of Rubrics for Large Language Models
- **作者**: Wenhan Liu, Jiajie Jin, Zhaoheng Huang, Tongyu Wen, Guanting Dong, Ziliang Zhao, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen (Renmin University of China)
- **日期**: 2026-05-22
- **领域**: LLM Evaluation, Reward Modeling, Rubric
- **Wiki 添加时间**: 2026-06-27
## 🎯 核心概念
1. **[[rubrics-for-llms|Rubrics for LLMs]]** — 结构化、显式的多维度评估标准,填补了传统标量奖励和 LLM judge 在开放任务中的不足
2. **[[rubric-construction|Rubric Construction]]** — 四大构建范式:直接生成 → 对比生成 → 迭代精炼 → 在线协同演化,从静态到动态递进
3. **[[rubric-aggregation|Rubric Aggregation]]** — 逐项评分后如何合并为总分(直接平均 / 加权求和 / 隐式聚合)
4. **[[rubric-based-reward-modeling|Rubric-Based Reward Modeling]]** — rubric 从评估工具变为训练信号policy model RL × reward model 训练的三种角色
5. **[[rubric-driven-evaluation|Rubric-Driven Evaluation]]** — 覆盖通用任务(推理/研究/Agent/对齐)和领域特定任务的全景评估体系
6. **[[rubric-personalization|Rubric Personalization]]** — 从通用标准到个体偏好的过渡PREFINE 的伪用户 agent 方法
7. **[[rubric-safety|Rubric Safety]]** — RIPD 攻击面rubric 本身可能成为隐秘的偏好偏移向量
## 🔗 概念网络
- **核心连接**: [[rubrics-for-llms]] ↔ [[rubric-construction]] ↔ [[rubric-based-reward-modeling]] ↔ [[rubric-driven-evaluation]]
- **跨概念连接**: [[rubrics-for-llms]] ↔ [[llm-as-a-judge]] / [[rlvr-unified-framework|RLVR]] / [[reward-hacking]]
- **开放问题链**: [[rubric-safety]] → RIPD → [[reward-hacking]] → [[rubric-personalization]](偏好推断)
- **复用已有概念**: [[reward-hacking]], [[rlvr-unified-framework]]
## 📚 Wiki 集成
- **新增页面**: 11 个1 论文 + 1 raw + 9 概念)
- **9 概念**: rubrics-for-llms, rubric-construction, rubric-aggregation, rubric-based-reward-modeling, rubric-driven-evaluation, rubric-personalization, rubric-safety, llm-as-a-judge
- **链接密度**: 论文主页引用 10+ 概念,概念间高密度交叉引用
## 💡 关键洞察
1. **Rubric 是评估基础设施的"中间层"** — 它不是替代 reward model 或 LLM judge而是为两者提供显式、可编辑的评估标准。这与 sz 对 Agent Harness 多维度约束的思考高度对齐rubric 正是将"质量维度"可操作化的接口。
2. **从静态到协同演化的范式演进** — rubric construction 从一次性生成Direct/Contrastive→ 迭代精炼Refinement→ 在线协同演化Online/Co-evolving与 Agent 训练中的 curriculum learning、self-play 趋势共振。最激进的 Online 方法DR-Tulu, SibylSense本质上是让 rubric 和 policy 互相塑造。
3. **Rubric 安全是一个被低估的系统性风险** — RIPD 揭示的 pipeline 级联效应rubric → judge → preference data → policy → 不可检测的漂移)与 reward hacking 一样危险但更隐蔽,因为 rubric 修改"看起来合理"。这直接关联到 Agent 记忆系统评估的可靠性问题。

View File

@@ -0,0 +1,42 @@
---
title: "Safe Equilibrium Exploration — Review"
created: 2026-06-29
type: review
paper: safe-equilibrium-exploration
---
# 📌 基本信息
- **论文**On the Equilibrium between Feasible Zone and Uncertain Model in Safe Exploration
- **作者**Yujie Yang, Zhilong Zheng, Shengbo Eben Li (清华大学车辆与运载学院)
- **领域**:安全强化学习 / Safe RLcs.LG
- **发表**IEEE TPAMI 48(7), 8344-8360 (2026)
- **arXiv**2602.00636v2
- **添加时间**2026-06-29
# 🎯 核心概念
1. **安全探索均衡** — 可行域与不确定模型之间的不动点:更大可行域 ⇄ 更精确模型,互为因果
2. **SEE 算法** — 交替进行可行域扩展和模型精化,理论保证单调收敛
3. **可行域** — 状态-动作空间的安全子集传统方法依赖人工设计SEE 自动发现
4. **不确定模型** — 带不确定性量化的环境模型,精度和可行域大小形成循环依赖
5. **Safety Filter** — 动作监控与干预模块,用 CBF/QP 实现安全约束
# 🔗 概念网络
- **核心连接**[[equilibrium-safe-exploration|安全探索均衡]] ↔ [[feasible-zone|可行域]] ↔ [[uncertain-model|不确定模型]] ↔ [[safe-equilibrium-exploration|SEE 算法]]
- **已有网络对接**:接入 [[reinforcement-learning|强化学习]] 概念树,首次建立 safe RL 分支
- **方法链**[[safety-filter|Safety Filter]] ↔ [[control-barrier-function|CBF]](背景方法)↔ SEE新方法
- **新增连接**6 概念 + 1 论文,零断链
# 📚 Wiki 集成
- 新增页面8 个1 论文 `safe-equilibrium-exploration` + 6 概念 + 1 Review
- 新增概念safe-exploration、feasible-zone、equilibrium-safe-exploration、safe-equilibrium-exploration (SEE)、safety-filter、control-barrier-function、uncertain-model
- 链接完整性100% 零断链
- 总规模1331 → 1339 页
# 💡 关键洞察
1. **视角转换的价值**:从"最大化可行域"到"寻找可行域-模型均衡"——这不仅是算法改进,而是对安全探索问题本质的重新定义。均衡视角揭示了为什么以往方法无法突破:它们忽略了可行域与模型精度的耦合
2. **优雅的理论结构**:单调精化 + 单调扩展 + 收敛到不动点的证明,使 SEE 不仅是实用算法,更是一个概念上完整闭合的理论框架。这对 safe RL 领域的后续研究有范式意义

View File

@@ -0,0 +1,66 @@
---
title: "Review: Mapping Networks"
created: 2026-06-25
updated: 2026-06-25
type: review
paper: "[[sen-mapping-networks]]"
---
# Review: Mapping Networks — 2026-06-25
## 📌 基本信息
- **论文**: Mapping Networks
- **作者**: Lord Sen, Shyamapada Mukherjee (NIT Rourkela)
- **arXiv**: 2602.19134
- **领域**: cs.CV / 参数高效深度学习
- **添加时间**: 2026-06-25
- **核心贡献**: 将参数空间流形假设形式化为可证明定理,构建隐向量驱动参数生成的元架构
## 🎯 核心概念
1. **[[weight-manifold-hypothesis|Weight-Manifold Hypothesis]]** — 神经网络训练后参数位于低维光滑流形上dim(M_θ) ≪ P
2. **[[mapping-theorem|Mapping Theorem]]** — 存在 C² 映射 g: R^d → R^P使 g(z*) 在损失上 ε-逼近 θ*
3. **[[mapping-loss|Mapping Loss]]** — 四组件联合优化Task + Stability + Smoothness + Alignment各 λ 可训练
4. **[[solvability-theorem|Solvability Theorem]]** — 加性调制 + 正交初始化确实满足 Mapping Theorem
5. **[[weight-modulation|Weight Modulation]]** — w_ij ← w_ij + α·z_i隐向量仿射调制固定映射权重
## 🔗 概念网络
### 核心连接
```
weight-manifold-hypothesis ←→ mapping-theorem ←→ solvability-theorem
↓ ↓ ↓
manifold-hypothesis mapping-loss weight-modulation
↓ ↓ ↓
intrinsic-dimension lipschitz-continuity layer-wise-training
↓ ↓
loss-landscape parameter-efficient-training
```
### 扩展网络
- 连接了 4 个已有领域的 umbrella 概念:[[hypernetworks|HyperNetworks]]、[[manifold-hypothesis|流形假设]]、[[lottery-ticket-hypothesis|彩票假说]]、[[low-rank-decomposition|低秩分解]]
- 创建了 13 个概念页,其中 4 个是跨领域伞概念、9 个是论文专属深层概念
- 论文到概念的交叉引用密集:主页链接到 11 个概念
### 网络位置
Mapping Networks 处于参数高效训练 × 流形学习 × 元学习的**交叉点**。与 [[hypernetworks]] 共享"生成权重"范式但更激进(目标网络零训练),与 [[low-rank-decomposition]] 正交可组合。
## 📚 Wiki 集成
| 指标 | 数值 |
|------|------|
| 新增页面 | 15 个1 raw + 1 paper + 13 concepts |
| 新增 Review | 1 个 |
| 概念中交叉链接 | 平均 4.5 个/页 |
| 总增量 | +16 页 |
## 💡 关键洞察
1. **从流形假设到可证明定理**这篇论文的独特价值在于将参数空间流形存在性的经验观察PCA/t-SNE、ID 研究)**形式化为可证明定理**,并构建了满足定理的实用架构。这是流形学习在参数空间的理论收束。
2. **固定权重优于可训练权重的反直觉发现**消融实验Table 7揭示了一个深刻的设计原则 — 正交初始化 + 隐向量调制的组合,优于全可训练映射权重。全训练反而增加过拟合。这说明**结构约束本身是一种比自由参数更强力的正则化**。
3. **理论指导架构设计**Mapping Loss 的四个组件 — 分别对应定理的 Lipschitz 连续性、C² 可微性、以及隐空间-权重对齐 — 是"定理驱动设计"的典范。每个损失项都有明确的解析对应,而非启发式添加。
4. **500× 参数效率的时代将至?**99.5% 的参数量压缩而性能不降甚至超出暗示当前深度学习可能存在极其严重的参数冗余。Mapping Networks 提供了一条有理论保证的压缩路径,而不只是经验技巧(剪枝/量化)。

View File

@@ -0,0 +1,38 @@
---
title: "Tapered Language Models — Review"
created: 2026-06-29
type: review
paper: tapered-language-models
---
# 📌 基本信息
- **论文**Tapered Language Models
- **作者**Reza Bayat (Mila), Ali Behrouz (Cornell), Aaron Courville (Mila/UdeM/CIFAR)
- **领域**语言模型架构设计cs.LG
- **arXiv**2606.23670v1
- **添加时间**2026-06-29
# 🎯 核心概念
1. **深度感知容量分配** — 质疑 LM 中"所有层均等分配参数"的默认假设,提出容量应随深度递减
2. **MLP 宽度渐缩** — 在固定总参数量下,将 MLP 中间层宽度从前向后按余弦调度递减
3. **余弦衰减调度** — 最优 taper 函数cos(πℓ/(2L)) 实现连续平滑的容量递减
4. **早期-后期不对称性** — 早期层需要变换能力,后期层仅需精化残差流
# 🔗 概念网络
- **核心连接**[[depth-aware-capacity-allocation|深度感知容量分配]] ↔ [[mlp-width-tapering|MLP 渐缩]] ↔ [[cosine-taper-schedule|余弦调度]] ↔ [[tapered-language-models|论文主页]]
- **已有网络对接**:连接 [[subquadratic-transformer-alternatives|次二次方替代架构]]、[[recurrent-transformer-architectures|循环架构]],跨架构验证了 TLM 的通用性
- **新增连接**3 概念 + 1 论文 + 1 Review零断链
# 📚 Wiki 集成
- 新增页面5 个1 论文 + 3 概念 + 1 Review
- 链接完整性100% 零断链
- 总规模1344 → 1349 页
# 💡 关键洞察
1. **"藏在眼皮底下的免费杠杆"** — Transformer 已提出 9 年,均等层宽从未被系统性质疑。本文用一个简单的直觉(后期层只需精化)+ 干净的实验设计固定预算、MLP 为调节轴、4 架构 3 规模),发现了一个零成本的 perplexity 改善轴。这是最好的那种研究:问题如此明显,以至于一旦指出就再也无法忽视
2. **U 形曲线的哲学** — 最优 taper 强度在 1.50→0.50,而非极端值。这说明"不对称"本身是好的,但"过度不对称"反而有害——存在一个最优的容量梯度。这对 NAS 和架构搜索有直接指导意义

View File

@@ -0,0 +1,46 @@
---
title: "Review: The Verification Horizon"
created: 2026-07-02
type: review
tags: [verification, reward-design, coding-agent, qwen]
---
# Review: The Verification Horizon — No Silver Bullet for Coding Agent Rewards
📌 **基本信息**
- 论文The Verification Horizon: No Silver Bullet for Coding Agent Rewards
- 作者Qwen Team (Alibaba)13 位核心贡献者
- 领域cs.AI / cs.CL — Coding Agent 验证与奖励设计
- arXiv2606.26300
- 添加时间2026-07-02
🎯 **核心概念**
1. **Verification Horizon** — 验证是一道不断后退的边界:随着生成器增强,任何固定验证器最终都会被超越
2. **Verification Trilemma** — Scalability / Faithfulness / Robustness 三者不可兼得,三者交集正是当前缺失的核心
3. **Verifier-Generator Co-evolution** — 验证不是一次性设计问题,而是持续运维;必须与生成器协同进化
4. **Intent Underspecification** — 意图天然欠定是验证困难的根源proxy-intent gap 在优化下扩大而非缩小
5. **Span-KTO** — 将 KTO 扩展到 span 级,利用人类隐式反馈的 polarity 信号进行偏好学习
🔗 **概念网络**
- **核心连接**Verification Horizon ↔ Verification Trilemma ↔ Co-evolution ↔ Reward Hacking
- **理论锚定**Goodhart's Law + Rice's Theorem → 完美验证器的不可能性证明
- **四个验证器架构**Test Verifier → Interactive Judge → User Feedback Verifier → Automated Agent Verifier
- **新增概念**16 个2 umbrella + 14 论文专属)
- **复用已有概念**reward-hacking
📚 **Wiki 集成**
- 新增页面17 个1 论文页 + 16 概念页)
- 论文页:`papers/verification-horizon-no-silver-bullet.md`
- 概念密度14 个论文专属概念覆盖四类验证器 + 理论框架
- 交叉引用:所有概念页均双向链接回论文页
💡 **关键洞察**
1. **验证比生成更难**——这是 Brooks "No Silver Bullet" 在 AI 时代的新版本。论文从 Goodhart 定律和 Rice 定理两个方向论证了完美验证器的理论不可能性,将验证从"工程优化问题"提升为"持续运维问题"。
2. **四种验证器构成递进光谱**:从机械测试 → 交互判断 → 用户反馈 → 自主评估,每一级更忠实于用户意图但更难鲁棒验证。这个光谱本身就是 verification trilemma 的具象化——每个方案在三维中做出不同取舍。
3. **Span-KTO 的深层意义**:不只是 +13.3pp 的性能提升——更重要的是模型学会了**"失败时表现更合理"**Inefficiency +34.5%, Communication +26.5%)。这对真实部署的信任建立至关重要。