概述
這種設計有助於訓練更深層的卷積網路,也出現在其他神經架構中。
深入探討
ResNet 論文探討了隨著網路加深所觀察到的退化問題。其殘差公式學習 F(x),並透過加上捷徑輸入來產生輸出,通常在維度對齊時為 y=F(x)+x。該論文在 ImageNet 上評估了高達 152 層的殘差網路。當張量維度不同時,實作會使用投影或其他相容的映射。原始論文報告了其評估設定的基準測試結果;這並不代表在醫學影像或自動駕駛等不相關任務中的當前效能。當捷徑與殘差維度不同時,ResNet 論文使用學習到的投影來在相加前匹配形狀。其瓶頸區塊(bottleneck block)使用 1×1、3×3 和 1×1 卷積。殘差連結有助於優化所研究的網路,但不能保證深度能改善所有任務。Transformer 區塊也在注意力與前饋子層周圍使用殘差連接,如 Vaswani 等人所述。
現實世界的實施
ResNet 主幹網路為分類或偵測系統提供影像特徵。
研究人員比較了當張量形狀不同時,恆等捷徑與投影捷徑的差異。
深度學習學生追蹤輸入如何對區塊輸出做出貢獻。
Transformer 區塊在子層周圍使用殘差連接。
殘差網路的未來
殘差連接仍然很常見,但變體和放置位置在不同架構間有所不同。避免將其描述為解決優化的萬能方法或效能保證。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是殘差網路?
殘差網路使用捷徑連接,讓區塊可以學習對其輸入進行調整。這種設計有助於訓練更深層的卷積網路,也出現在其他神經架構中。
殘差連結具體解決了什麼問題?
ResNet 論文描述了一個退化問題:在普通網路中增加層數可能會增加訓練誤差。殘差學習改善了所研究深度網路的優化;這並非更深層模型表現更好的普遍保證。
當輸入和輸出維度匹配時,基本殘差區塊計算什麼?
ResNet 論文將層重新表述為殘差函數,並加上捷徑輸入。
為什麼跳過連接有助於訓練期間的梯度?
恆等捷徑為梯度繞過學習到的殘差函數提供了額外的流動路徑,這可以簡化深度網路的優化;它並未消除所有的梯度問題。
原始 ImageNet 論文中評估的最深 ResNet 有多深?
該論文在 ImageNet 上評估了高達 152 層的殘差網路。
如果殘差塊的層學習 F(x) = 0,那麼區塊會做什麼?
當 F(x) = 0 時,輸出只是 x,因此該區塊成為恆等映射。如果不需要的話,這使得額外的層無害。