残留ネットワーク
Residual Networks (ResNets) は、層が完全な変換ではなく小さな調整を学習できるようにする「スキップ接続」を追加するディープ ニューラル ネットワークです。
概要
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
ディープダイブ
ResNets が登場する前は、多くの層を積み重ねると、逆説的に、トレーニング データであってもネットワークのパフォーマンスが低下し、これは劣化と呼ばれる問題でした。 2015 年、Microsoft の研究者 Kaiming He 氏と同僚は残差ブロックを導入しました。層のスタックに出力 H(x) を直接生成するよう要求する代わりに、残差 F(x) = H(x) - x を学習させ、ショートカットを介して元の入力 x を追加し直しました。レイヤーが不要な場合は、単に何もしないことを学習できます (F(x) = 0)。 ResNet-152 は、2015 年の ImageNet コンペティションで上位 5 位までの誤差約 3.6% で優勝し、人間レベルの推定を上回り、そのアーキテクチャは検出、セグメンテーション、医療画像処理の基礎的なバックボーンとなりました。
技術的な洞察
スキップ接続は、各ブロックのジョブを y = F(x) + x に変換します。バックプロパゲーション中、勾配は変更されずに恒等ショートカットを通過するため、数百の層にわたっても勾配がゼロ近くまで消えることはありません。これにより、深いスタックもトレーニング可能に保たれます。 ID ショートカットでは追加のパラメータは追加されません。入力サイズと出力サイズが異なる場合にのみ、加算の前に小さな投影 (1x1 畳み込み) によって次元が調整されます。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
残存ネットワークの未来
残留接続は現在、ほぼ普遍的です。トランスフォーマー、拡散モデル、大規模言語モデルはすべて、非常に深いスタックのトレーニングを安定させるために残留接続を使用しています。研究は、アクティベーション前の ResNets、ResNeXt のグループ化されたパス、残差アイデアと正規化不要のトレーニングの組み合わせなどの亜種について引き続き行われています。周囲のアーキテクチャが純粋な畳み込みからアテンションとハイブリッド設計に移行しても、コアのスキップ接続原則はデフォルトの構成要素として存続すると予想されます。
現実世界の実装
ImageNet 分類バックボーン (ResNet-50、ResNet-101) は転移学習用の事前トレーニングされた特徴抽出器として使用されます
ResNet ベースのエンコーダを使用した放射線画像および病理学画像における腫瘍および病変の検出
ResNet バックボーンを使用する Faster R-CNN や Mask R-CNN などのオブジェクト検出およびインスタンス セグメンテーション フレームワーク
カメラのフレームから歩行者、車両、標識を分類する自動運転認識パイプライン
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
機能ピラミッド ネットワーク
よくある質問
What is Residual Networks?
Residual Networks (ResNets) は、層が完全な変換ではなく小さな調整を学習できるようにする「スキップ接続」を追加するディープ ニューラル ネットワークです。この単純なトリックにより、何百もの層の深さでネットワークをトレーニングすることが可能になり、画像認識の精度が飛躍的に向上しました。
残留接続は具体的にどのような問題を解決しましたか?
ResNets が導入される前は、レイヤーを追加すると、トレーニング データであっても精度が低下していました。スキップ接続により、レイヤーの最適化が容易になり、この問題が修正されました。
残差ブロックは出力として実際に何を計算しますか?
残差ブロックは y = F(x) + x を出力し、学習された残差をスキップ接続を介して入力に追加します。
スキップ接続がトレーニング中の勾配に役立つのはなぜですか?
ID ショートカットは、勾配が変更されずに逆方向に流れる直接パスを提供し、非常に深いスタックでの勾配消失の問題を防ぎます。
2015 年に優勝した ResNet モデルにはおよそ何層ありましたか?
152 層の ResNet-152 は、2015 年の ImageNet コンペティションで優勝し、非常に深いネットワークが正常にトレーニングできることを実証しました。
残差ブロックの層が F(x) = 0 を学習した場合、ブロックは何をしますか?
F(x) = 0 の場合、出力は x だけであるため、ブロックは恒等マッピングになります。これにより、不要な追加のレイヤーは無害になります。