30 lines
1.2 KiB
Markdown
30 lines
1.2 KiB
Markdown
---
|
||
title: "Zero-Cost Proxies (ZCP)"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [machine-learning, neural-architecture-search, efficiency]
|
||
sources: [raw/papers/zeng-neurida-2025.md]
|
||
---
|
||
|
||
# Zero-Cost Proxies (ZCP)
|
||
|
||
**Zero-Cost Proxies** 是源自 Neural Architecture Search (NAS) 的技术，在**不进行完整训练的情况下**估计模型在给定任务上的性能。
|
||
|
||
## 核心思想
|
||
|
||
在模型初始化阶段通过某些可计算的代用指标（如梯度范数、激活模式、雅可比矩阵特征等）来预测模型的最终性能，成本接近零（无需梯度下降迭代）。
|
||
|
||
## 在 NeurIDA 中的应用
|
||
|
||
[[conditional-model-dispatcher|Conditional Model Dispatcher]] 使用 ZCP 对 [[composable-base-model-architecture|基础模型池]] 中每个候选模型进行快速评分，实现轻量级的模型选择。ZCP 评分的低成本意味着 Dispatcher 可以在几乎不增加延迟的情况下完成模型选择决策。
|
||
|
||
## 关键参考文献
|
||
|
||
- Abdelfattah et al., "Zero-Cost Proxies for Lightweight NAS", ICLR 2021
|
||
- Shu et al., "NASI: Label- and Data-agnostic Neural Architecture Search at Initialization", ICLR 2022
|
||
|
||
## 来源
|
||
|
||
- [[zeng-neurida-2025|NeurIDA 论文]]
|