テクニカルガイド
カプセルネットワーク
カプセル ネットワークは、ニューロンを「カプセル」にグループ化し、フィーチャが存在するかどうかとその姿勢 (位置、向き、スケール) の両方をエンコードしたベクトルを出力するニューラル アーキテクチャです。
このガイドを聴くAIによるナレーション · ~2 min
概要
彼らは、標準的な畳み込みネットワークにおける主要な盲目性、つまり部品間の空間的関係を追跡できなくなる問題を修正することを目的としています。
ディープダイブ
2017 年に Geoffrey Hinton、Sara Sabour、Nicholas Frosst によって提案されたカプセル ネットワークは、スカラー ニューロンの出力をベクトルに置き換えます。ベクトルの長さはエンティティ (目や鼻など) が存在する確率を表し、その方向は姿勢パラメータをエンコードします。下位レベルのカプセルは、変換行列を通じて上位レベルのカプセルのポーズを予測し、合意による動的ルーティングと呼ばれるプロセスによって、どの予測を信頼するかを決定します。複数のパーツカプセルが同じ全体に同意する場合、ルーティングによってその接続が強化されます。オリジナルの CapsNet は MNIST で優れた結果を達成し、桁の重なりやアフィン変換に対して特に堅牢で、CNN がごちゃ混ぜの顔の特徴を有効な顔として受け入れる「ピカソ問題」に対処しました。
現実世界の実装
カプセル ベクトルから入力を再構築しながら MNIST で手書きの数字を分類し、ポーズ パラメーターが意味のあるものであることを示します。
どのピクセルがどのエンティティに属するかをセグメント化することにより、重複する 2 つの数字を分離します (MultiMNIST タスク)。
カプセルを使用して、部分と全体の空間的関係が重要な肺結節や脳腫瘍を検出する医療画像研究。
アーキテクチャに組み込まれた視点の等変性を利用して、少ないトレーニング例で新しい視点からオブジェクトを認識します。
カプセルネットワークの未来
カプセル ネットワークは、導入された標準というよりも研究の方向性が強いままですが、その主な理由は、動的ルーティングは計算コストが高く、ImageNet のような大規模なイメージにはあまり対応できないためです。その後の研究では、効率を向上させるための EM ルーティング (マトリックス カプセル) とセルフ アテンション ベースのルーティングが検討されました。等分散性、サンプル効率、解釈可能な部分と全体の階層への関心が高まるにつれ、トランスフォーマーが主流のビジョンを支配しているにもかかわらず、カプセルのアイデアはヒントンの後の GLOM 提案を含め、研究に影響を与え続けています。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
カプセルネットワークスとは何ですか?
カプセル ネットワークは、ニューロンを「カプセル」にグループ化し、フィーチャが存在するかどうかとその姿勢 (位置、向き、スケール) の両方をエンコードしたベクトルを出力するニューラル アーキテクチャです。彼らは、標準的な畳み込みネットワークにおける主要な盲目性、つまり部品間の空間的関係を追跡できなくなる問題を修正することを目的としています。
カプセル ネットワークでは、カプセルの出力ベクトルの長さは何を表しますか?
ベクトルの長さ (大きさ) はエンティティが存在する確率をエンコードし、その方向は位置や回転などのポーズ パラメーターをエンコードします。
カプセル ネットワークは標準 CNN のどのような問題に対処するために特別に設計されましたか?
最大プーリングを使用する CNN は正確な空間関係を破棄するため、特徴が間違って配置されている顔でも高いスコアが得られる可能性があります。これがカプセルが解決しようとしている「ピカソ問題」です。
どの下位レベルのカプセルがどの上位レベルのカプセルに接続するかを決定するアルゴリズムの名前は何ですか?
合意による動的ルーティングは、予測がより高いカプセルの出力と一致するカプセル間の接続を繰り返し強化します。
2017 年にダイナミック ルーティングを備えたカプセル ネットワークを導入したのは誰ですか?
2017 年の論文「Dynamic Routing Between Capsules」は、Sara Sabour、Nicholas Frosst、Geoffrey Hinton によって執筆されました。
カプセル ネットワークの「スカッシュ」機能の目的は何ですか?
スカッシュ非線形性は、短いベクトルを 0 に向かって縮小し、長いベクトルを長さ 1 付近でキャップするため、向き (姿勢) を維持しながら大きさを確率として読み取ることができます。