神經架構搜尋
神經架構搜尋（NAS）自動化神經網路結構的設計－讓演算法而不是人類來決定有多少層、什麼操作以及它們如何連接。
概述
It turns model design into a search problem, discovering architectures that can rival or beat hand-crafted ones.
深入探討
手動設計神經網路速度很慢且依賴專家的直覺。 NAS 透過在可能架構的定義空間中進行搜尋來取代這種搜索，並以提出候選架構的策略和估計每個架構的好壞的方法為指導。早期的 NAS 使用強化學習或演化演算法，訓練數千個候選網路——眾所周知，要花費數千個 GPU 天。這項突破使搜尋變得更便宜：權重共享（包含所有候選的「超級網」）和 DARTS 等可微分方法，將離散選擇放寬為連續選擇，因此梯度下降可以一起優化架構和權重。 NAS 產生了高效的模型，例如 EfficientNet 和一些現已在生產中使用的行動最佳化網路。
技術洞察
NAS 有三個組成部分：搜尋空間（建構塊及其連接方式）、搜尋策略（強化學習、演化、隨機搜尋或基於梯度）和效能估計方法。單純地訓練每個候選者收斂的成本過高，因此 NAS 使用捷徑：跨超網權重共享、低保真度代理（更少的 epoch、更小的數據）和學習的預測器。 DARTS 透過 softmax 加權混合對「此處進行哪個操作」進行連續離散選擇，使用梯度進行最佳化，然後將結果離散化為最終架構。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
神經架構搜尋的未來
NAS 正在從單純的準確性目標擴展到硬體感知的多目標搜索，共同優化特定晶片的延遲、能耗和內存，這對於邊緣和移動人工智慧至關重要。無需訓練即可對架構進行排名的零成本代理可顯著加快搜尋速度。隨著 Transformer 佔據主導地位，NAS 正在應用於注意力模式、層寬度和整個 LLM 配置，並與自動化機器學習管道合併。前沿是共同設計模型和硬件，並具有自動適應部署限制的搜尋循環。
現實世界的實施
Google 的 EfficientNet 系列，其複合規模架構以自動搜尋為指導，以實現每個浮點運算的高精度。
行動視覺模型（例如 MnasNet）在真實手機上以延遲的方式循環搜尋裝置上的速度。
硬體感知 NAS，可根據特定加速器的記憶體和計算限制客製化網路。
AutoML 平台讓非專家可以透過自動搜尋架構來獲得有競爭力的自訂模型。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄神經架構搜尋在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Architecture Search quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Neural Architecture Search?
神經架構搜尋（NAS）自動化神經網路結構的設計－讓演算法而不是人類來決定有多少層、什麼操作以及它們如何連接。它將模型設計變成搜尋問題，發現可以與手工製作的架構相媲美或擊敗的架構。
神經架構搜尋自動化什麼？
NAS 自動選擇層、操作和連接（架構本身），而不是只依賴人工設計。
哪三個元件定義了 NAS 方法？
NAS 被建構為一個搜尋空間、探索該空間的搜尋策略以及估計每個候選者表現的方法。
為什麼早期基於強化學習的 NAS 受到批評？
訓練數千個候選網路使得早期 NAS 的運算成本極高，從而催生了更便宜的方法。
DARTS 使用什麼關鍵技巧來提高搜尋效率？
DARTS（可微架構搜尋）將離散作業選擇轉變為連續的、softmax 加權的混合，因此應用梯度下降。
權重共享 NAS 中的「超級網」是什麼？
超級網包含每個候選架構並在它們之間共享權重，因此候選架構不需要從頭開始訓練。