膠囊網絡
膠囊網路是一種神經架構，它將神經元分組為“膠囊”，輸出編碼特徵是否存在及其姿態（位置、方向、尺度）的向量。
概述
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
深入探討
膠囊網路由 Geoffrey Hinton、Sara Sabour 和 Nicholas Frosst 於 2017 年提出，以向量取代標量神經元輸出。向量的長度表示實體（如眼睛或鼻子）存在的機率，而其方向編碼姿勢參數。較低等級的膠囊透過變換矩陣預測較高等級膠囊的姿態，並且一個稱為動態路由協定的過程決定信任哪些預測。當多個部分封裝在同一整體上達成一致時，路由會加強該連接。最初的 CapsNet 在 MNIST 上取得了很好的結果，並且對於重疊數字和仿射變換具有顯著的魯棒性，解決了 CNN 接受混亂的面部特徵作為有效面部的“畢加索問題”。
技術洞察
關鍵機制是「擠壓」非線性，它將短向量縮小到零，將長向量縮小到長度一，因此向量幅度讀作機率。然後，動態路由運行 softmax 加權一致步驟的幾個迭代：每個較低的膠囊向上發送其預測，並且對於其輸出與該預測對齊（透過點積）的較高膠囊，耦合係數會增加。這取代了最大池化，保留精確的空間資訊而不是丟棄它。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
膠囊網路的未來
膠囊網路仍然是一個研究方向，而不是一個已部署的標準，這主要是因為動態路由的計算成本很高，而且對於像 ImageNet 這樣的大圖像來說擴展性很差。後來的工作探索了 EM 路由（Matrix Capsules）和基於 self-attention 的路由來提高效率。隨著人們對等方差、樣本效率和可解釋的部分整體層次結構的興趣不斷增長，膠囊思想繼續影響著研究，包括 Hinton 後來的 GLOM 提案，儘管 Transformers 主導了主流願景。
現實世界的實施
在從膠囊向量重建輸入的同時對 MNIST 上的手寫數字進行分類，顯示姿態參數是有意義的。
透過分割哪些像素屬於哪個實體來分離兩個重疊的數字（MultiMNIST 任務）。
醫學影像研究使用膠囊來檢測部分與整體空間關係很重要的肺結節或腦腫瘤。
利用架構的內建視點等變性，透過較少的訓練範例從新穎的視點識別物件。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Capsule Networks?
膠囊網路是一種神經架構，它將神經元分組為“膠囊”，輸出編碼特徵是否存在及其姿態（位置、方向、尺度）的向量。他們的目標是修復標準卷積網絡中的一個核心盲點：失去對各部分之間空間關係的追蹤。
在膠囊網路中，膠囊輸出向量的長度代表什麼？
向量的長度（大小）編碼實體存在的機率，而其方向編碼位置和旋轉等姿勢參數。
膠囊網路是專門為解決標準 CNN 的哪些問題而設計的？
具有最大池化功能的 CNN 會丟棄精確的空間關係，因此特徵錯位的人臉仍然可以獲得高分。這就是膠囊試圖解決的「畢卡索問題」。
決定哪些較低等級的膠囊連接到哪些較高等級的膠囊的演算法的名稱是什麼？
動態協定路由迭代地加強了膠囊之間的連接，這些膠囊的預測與更高膠囊的輸出一致。
誰在 2017 年引入了具有動態路由的膠囊網路？
2017 年论文“Dynamic Routing Between Capsules”由 Sara Sabour、Nicholas Frosst 和 Geoffrey Hinton 撰写。
膠囊網路中「擠壓」功能的目的是什麼？
擠壓非線性將短向量收縮到零，並將長向量限制在長度接近一的範圍內，因此幅度可以被解讀為機率，同時保留方向（姿勢）。