視覺人工智慧指南

殘差網絡

殘差網路使用捷徑連接(shortcut connections),讓區塊可以學習對其輸入進行調整。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 殘差網路的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這種設計有助於訓練更深層的卷積網路,也出現在其他神經架構中。

深入探討

ResNet 論文探討了隨著網路加深所觀察到的退化問題。其殘差公式學習 F(x),並透過加上捷徑輸入來產生輸出,通常在維度對齊時為 y=F(x)+x。該論文在 ImageNet 上評估了高達 152 層的殘差網路。當張量維度不同時,實作會使用投影或其他相容的映射。原始論文報告了其評估設定的基準測試結果;這並不代表在醫學影像或自動駕駛等不相關任務中的當前效能。當捷徑與殘差維度不同時,ResNet 論文使用學習到的投影來在相加前匹配形狀。其瓶頸區塊(bottleneck block)使用 1×1、3×3 和 1×1 卷積。殘差連結有助於優化所研究的網路,但不能保證深度能改善所有任務。Transformer 區塊也在注意力與前饋子層周圍使用殘差連接,如 Vaswani 等人所述。

現實世界的實施

ResNet 主幹網路為分類或偵測系統提供影像特徵。

研究人員比較了當張量形狀不同時,恆等捷徑與投影捷徑的差異。

深度學習學生追蹤輸入如何對區塊輸出做出貢獻。

Transformer 區塊在子層周圍使用殘差連接。

殘差網路的未來

殘差連接仍然很常見,但變體和放置位置在不同架構間有所不同。避免將其描述為解決優化的萬能方法或效能保證。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加殘差網路測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是殘差網路?

殘差網路使用捷徑連接,讓區塊可以學習對其輸入進行調整。這種設計有助於訓練更深層的卷積網路,也出現在其他神經架構中。

殘差連結具體解決了什麼問題?

ResNet 論文描述了一個退化問題:在普通網路中增加層數可能會增加訓練誤差。殘差學習改善了所研究深度網路的優化;這並非更深層模型表現更好的普遍保證。

當輸入和輸出維度匹配時,基本殘差區塊計算什麼?

ResNet 論文將層重新表述為殘差函數,並加上捷徑輸入。

為什麼跳過連接有助於訓練期間的梯度?

恆等捷徑為梯度繞過學習到的殘差函數提供了額外的流動路徑,這可以簡化深度網路的優化;它並未消除所有的梯度問題。

原始 ImageNet 論文中評估的最深 ResNet 有多深?

該論文在 ImageNet 上評估了高達 152 層的殘差網路。

如果殘差塊的層學習 F(x) = 0,那麼區塊會做什麼?

當 F(x) = 0 時,輸出只是 x,因此該區塊成為恆等映射。如果不需要的話,這使得額外的層無害。