1.2 KiB
1.2 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Zero-Cost Proxies (ZCP) | 2026-05-15 | 2026-05-15 | concept |
|
|
Zero-Cost Proxies (ZCP)
Zero-Cost Proxies 是源自 Neural Architecture Search (NAS) 的技术，在不进行完整训练的情况下估计模型在给定任务上的性能。
核心思想
在模型初始化阶段通过某些可计算的代用指标（如梯度范数、激活模式、雅可比矩阵特征等）来预测模型的最终性能，成本接近零（无需梯度下降迭代）。
在 NeurIDA 中的应用
conditional-model-dispatcher 使用 ZCP 对 composable-base-model-architecture 中每个候选模型进行快速评分，实现轻量级的模型选择。ZCP 评分的低成本意味着 Dispatcher 可以在几乎不增加延迟的情况下完成模型选择决策。
关键参考文献
- Abdelfattah et al., "Zero-Cost Proxies for Lightweight NAS", ICLR 2021
- Shu et al., "NASI: Label- and Data-agnostic Neural Architecture Search at Initialization", ICLR 2022