カプセルネットワーク
カプセル ネットワークは、ニューロンを「カプセル」にグループ化し、フィーチャが存在するかどうかとその姿勢 (位置、向き、スケール) の両方をエンコードしたベクトルを出力するニューラル アーキテクチャです。
概要
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
ディープダイブ
2017 年に Geoffrey Hinton、Sara Sabour、Nicholas Frosst によって提案されたカプセル ネットワークは、スカラー ニューロンの出力をベクトルに置き換えます。ベクトルの長さはエンティティ (目や鼻など) が存在する確率を表し、その方向は姿勢パラメータをエンコードします。下位レベルのカプセルは、変換行列を通じて上位レベルのカプセルのポーズを予測し、合意による動的ルーティングと呼ばれるプロセスによって、どの予測を信頼するかを決定します。複数のパーツカプセルが同じ全体に同意する場合、ルーティングによってその接続が強化されます。オリジナルの CapsNet は MNIST で優れた結果を達成し、桁の重なりやアフィン変換に対して特に堅牢で、CNN がごちゃ混ぜの顔の特徴を有効な顔として受け入れる「ピカソ問題」に対処しました。
技術的な洞察
重要なメカニズムは、短いベクトルを 0 に向かって縮小し、長いベクトルを長さ 1 に向かって縮小する「スカッシュ」非線形性です。そのため、ベクトルの大きさは確率として読み取られます。次に、動的ルーティングはソフトマックス重み付け一致ステップを数回繰り返し実行します。下位の各カプセルはその予測を送信し、結合係数は出力がその予測と (ドット積を介して) 一致する上位のカプセルで増加します。これは max-pooling に代わるもので、正確な空間情報を破棄するのではなく保存します。
戦略的影響
費用と予算
アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
より明確な判決
技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
品質管理
より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
カプセルネットワークの未来
カプセル ネットワークは、導入された標準というよりも研究の方向性が強いままですが、その主な理由は、動的ルーティングは計算コストが高く、ImageNet のような大規模なイメージにはあまり対応できないためです。その後の研究では、効率を向上させるための EM ルーティング (マトリックス カプセル) とセルフ アテンション ベースのルーティングが検討されました。等分散性、サンプル効率、解釈可能な部分と全体の階層への関心が高まるにつれ、トランスフォーマーが主流のビジョンを支配しているにもかかわらず、カプセルのアイデアはヒントンの後の GLOM 提案を含め、研究に影響を与え続けています。
現実世界の実装
カプセル ベクトルから入力を再構築しながら MNIST で手書きの数字を分類し、ポーズ パラメーターが意味のあるものであることを示します。
どのピクセルがどのエンティティに属するかをセグメント化することにより、重複する 2 つの数字を分離します (MultiMNIST タスク)。
カプセルを使用して、部分と全体の空間的関係が重要な肺結節や脳腫瘍を検出する医療画像研究。
アーキテクチャに組み込まれた視点の等変性を利用して、少ないトレーニング例で新しい視点からオブジェクトを認識します。
リスクとガードレール
1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
インフラストラクチャとメンテナンスのコストは過小評価されがちです。
システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
実装ロードマップ
実装前にレイテンシ、品質、コストの目標を定義します。
現実的な負荷とデータ条件でのベンチマーク。
エラー、ドリフト、ユーザーへの影響を計測器で監視します。
スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
高速道路ネットワークとスキップ接続
よくある質問
What is Capsule Networks?
カプセル ネットワークは、ニューロンを「カプセル」にグループ化し、フィーチャが存在するかどうかとその姿勢 (位置、向き、スケール) の両方をエンコードしたベクトルを出力するニューラル アーキテクチャです。彼らは、標準的な畳み込みネットワークにおける主要な盲目性、つまり部品間の空間的関係を追跡できなくなる問題を修正することを目的としています。
カプセル ネットワークでは、カプセルの出力ベクトルの長さは何を表しますか?
ベクトルの長さ (大きさ) はエンティティが存在する確率をエンコードし、その方向は位置や回転などのポーズ パラメーターをエンコードします。
カプセル ネットワークは標準 CNN のどのような問題に対処するために特別に設計されましたか?
最大プーリングを使用する CNN は正確な空間関係を破棄するため、特徴が間違って配置されている顔でも高いスコアが得られる可能性があります。これがカプセルが解決しようとしている「ピカソ問題」です。
どの下位レベルのカプセルがどの上位レベルのカプセルに接続するかを決定するアルゴリズムの名前は何ですか?
合意による動的ルーティングは、予測がより高いカプセルの出力と一致するカプセル間の接続を繰り返し強化します。
2017 年にダイナミック ルーティングを備えたカプセル ネットワークを導入したのは誰ですか?
2017 年の論文「Dynamic Routing Between Capsules」は、Sara Sabour、Nicholas Frosst、Geoffrey Hinton によって執筆されました。
カプセル ネットワークの「スカッシュ」機能の目的は何ですか?
スカッシュ非線形性は、短いベクトルを 0 に向かって縮小し、長いベクトルを長さ 1 付近でキャップするため、向き (姿勢) を維持しながら大きさを確率として読み取ることができます。