神经架构搜索
神经架构搜索（NAS）自动化神经网络结构的设计——让算法而不是人类来决定有多少层、什么操作以及它们如何连接。
概述
它将模型设计变成一个搜索问题，发现可以与手工制作的架构相媲美或击败的架构。
深入探讨
手动设计神经网络速度很慢并且依赖于专家的直觉。 NAS 通过在可能架构的定义空间中进行搜索来取代这种搜索，并以提出候选架构的策略和估计每个架构的好坏的方法为指导。早期的 NAS 使用强化学习或进化算法，训练数千个候选网络——众所周知，要花费数千个 GPU 天。这一突破使搜索变得更便宜：权重共享（包含所有候选的“超级网”）和 DARTS 等可微分方法，将离散选择放宽为连续选择，因此梯度下降可以一起优化架构和权重。 NAS 产生了高效的模型，例如 EfficientNet 和一些现已在生产中使用的移动优化网络。
技术洞察
NAS 具有三个组成部分：搜索空间（构建块及其连接方式）、搜索策略（强化学习、进化、随机搜索或基于梯度）和性能估计方法。单纯地训练每个候选者收敛的成本过高，因此 NAS 使用捷径：跨超网权重共享、低保真度代理（更少的 epoch、更小的数据）和学习的预测器。 DARTS 通过 softmax 加权混合对“此处进行哪个操作”进行连续离散选择，使用梯度进行优化，然后将结果离散化为最终架构。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
神经架构搜索的未来
NAS 正在从单纯的准确性目标扩展到硬件感知的多目标搜索，共同优化特定芯片的延迟、能耗和内存，这对于边缘和移动人工智能至关重要。无需训练即可对架构进行排名的零成本代理可显着加快搜索速度。随着 Transformer 占据主导地位，NAS 正在应用于注意力模式、层宽度和整个 LLM 配置，并与自动化机器学习管道合并。前沿是共同设计模型和硬件，并具有自动适应部署约束的搜索循环。
现实世界的实施
Google 的 EfficientNet 系列，其复合规模架构以自动搜索为指导，以实现每浮点运算的高精度。
移动视觉模型（例如 MnasNet）在真实手机上以延迟的方式循环搜索设备上的速度。
硬件感知 NAS，可根据特定加速器的内存和计算限制定制网络。
AutoML 平台让非专家可以通过自动搜索架构来获得有竞争力的自定义模型。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录神经架构搜索在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Architecture Search quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是神经架构搜索？
神经架构搜索（NAS）自动化神经网络结构的设计——让算法而不是人类来决定有多少层、什么操作以及它们如何连接。它将模型设计变成一个搜索问题，发现可以与手工制作的架构相媲美或击败的架构。
神经架构搜索自动化什么？
NAS 自动选择层、操作和连接（架构本身），而不是仅仅依赖人工设计。
哪三个组件定义了 NAS 方法？
NAS 被构建为一个搜索空间、探索该空间的搜索策略以及估计每个候选者表现的方法。
为什么早期基于强化学习的 NAS 受到批评？
训练数千个候选网络使得早期 NAS 的计算成本极高，从而催生了更便宜的方法。
DARTS 使用什么关键技巧来提高搜索效率？
DARTS（可微架构搜索）将离散操作选择转变为连续的、softmax 加权的混合，因此应用梯度下降。
权重共享 NAS 中的“超级网”是什么？
超级网包含每个候选架构并在它们之间共享权重，因此候选架构不需要从头开始训练。