20260518-morning:新增内容

This commit is contained in:
2026-05-18 10:17:56 +08:00
parent b116710e4c
commit 2faf4bb002
38 changed files with 1528 additions and 2 deletions

View File

@@ -0,0 +1,29 @@
---
title: "Zero-Cost Proxies (ZCP)"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [machine-learning, neural-architecture-search, efficiency]
sources: [raw/papers/zeng-neurida-2025.md]
---
# Zero-Cost Proxies (ZCP)
**Zero-Cost Proxies** 是源自 Neural Architecture Search (NAS) 的技术,在**不进行完整训练的情况下**估计模型在给定任务上的性能。
## 核心思想
在模型初始化阶段通过某些可计算的代用指标(如梯度范数、激活模式、雅可比矩阵特征等)来预测模型的最终性能,成本接近零(无需梯度下降迭代)。
## 在 NeurIDA 中的应用
[[conditional-model-dispatcher|Conditional Model Dispatcher]] 使用 ZCP 对 [[composable-base-model-architecture|基础模型池]] 中每个候选模型进行快速评分实现轻量级的模型选择。ZCP 评分的低成本意味着 Dispatcher 可以在几乎不增加延迟的情况下完成模型选择决策。
## 关键参考文献
- Abdelfattah et al., "Zero-Cost Proxies for Lightweight NAS", ICLR 2021
- Shu et al., "NASI: Label- and Data-agnostic Neural Architecture Search at Initialization", ICLR 2022
## 来源
- [[zeng-neurida-2025|NeurIDA 论文]]