殘差網絡
殘差網絡 (ResNet) 是深度神經網絡，它添加了“跳躍連接”，讓各層學習小的調整而不是完整的轉換。
概述
這個簡單的技巧使得訓練數百層深度的網路成為可能，從而引發了圖像辨識準確性的飛躍。
深入探討
在 ResNets 出現之前，堆疊許多層反而會導致網路表現更差，即使在訓練資料上也是如此，這個問題稱為退化。 2015 年，Microsoft 研究人員 Kaiming He 及其同事引入了殘差塊：他們沒有要求一堆層直接產生輸出 H(x)，而是讓它學習殘差 F(x) = H(x) - x，然後通過快捷方式將原始輸入 x 添加回來。如果不需要某個層，它可以簡單地學習什麼都不做（F(x) = 0）。 ResNet-152 以約 3.6% 的前 5 名錯誤率贏得了 2015 年 ImageNet 競賽，超過了人類水平的估計，其架構成為檢測、分割和醫學成像的基礎骨幹。
技術洞察
跳躍連接將每個區塊的工作變成 y = F(x) + x。在反向傳播過程中，梯度不變地流過恆等捷徑，因此即使跨越數百層，梯度也不會消失到接近零。這使得深層籌碼可以訓練。身份快捷方式不添加額外的參數；僅當輸入和輸出大小不同時，小投影（1x1 卷積）才會在相加之前調整尺寸。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
殘差網路的未來
殘差連接現在幾乎是普遍的：變壓器、擴散模型和大型語言模型都使用它們來穩定非常深的堆疊的訓練。對預激活 ResNet、ResNeXt 分組路徑等變體的研究仍在繼續，並將殘餘想法與無歸一化訓練相結合。即使周圍的架構從純卷積轉向注意力和混合設計，核心跳躍連接原則仍將作為預設構建塊持續存在。
現實世界的實施
ImageNet 分類主幹網路（ResNet-50、ResNet-101）用作遷移學習的預訓練特徵提取器
使用基於 ResNet 的編碼器在放射學和病理學影像中檢測腫瘤和病變
使用 ResNet 主幹的物件偵測和實例分割框架，例如 Faster R-CNN 和 Mask R-CNN
自動駕駛感知管道，可根據攝影機影像對行人、車輛和標誌進行分類
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
什麼是殘差網路？
殘差網絡 (ResNet) 是深度神經網絡，它添加了“跳躍連接”，讓各層學習小的調整而不是完整的轉換。這個簡單的技巧使得訓練數百層深度的網路成為可能，從而引發了圖像辨識準確性的飛躍。
殘差連結具體解決了什麼問題？
在 ResNets 出現之前，添加更多層會導致準確性下降，甚至在訓練資料上也是如此。跳過連接透過使層易於優化來解決這個問題。
殘差塊實際上計算什麼作為其輸出？
殘差塊輸出 y = F(x) + x，透過跳躍連接將學習到的殘差加到輸入中。
為什麼跳過連接有助於訓練期間的梯度？
恆等快捷方式為梯度不變地向後流動提供了直接路徑，防止了非常深的堆疊中的梯度消失問題。
2015 年獲勝的 ResNet 模型大約有多少層？
具有 152 層的 ResNet-152 贏得了 2015 年 ImageNet 競賽，證明現在可以成功訓練非常深的網路。
如果殘差塊的層學習 F(x) = 0，那麼區塊會做什麼？
當 F(x) = 0 時，輸出只是 x，因此該區塊成為恆等映射。如果不需要的話，這使得額外的層無害。