Capsule-netwerken
Capsulenetwerken zijn een neurale architectuur die neuronen groepeert in 'capsules' die vectoren uitvoeren die coderen voor zowel het bestaan van een kenmerk als de pose ervan (positie, oriëntatie, schaal).
Overzicht
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
Diepe duik
Voorgesteld door Geoffrey Hinton, Sara Sabour en Nicholas Frosst in 2017, vervangen capsulenetwerken de output van een scalaire neuron door een vector. De lengte van de vector vertegenwoordigt de waarschijnlijkheid dat een entiteit (zoals een oog of een neus) aanwezig is, terwijl de oriëntatie ervan poseparameters codeert. Capsules op een lager niveau voorspellen de houding van capsules op een hoger niveau via transformatiematrices, en een proces dat dynamische routing-by-overeenkomst wordt genoemd, beslist welke voorspellingen moeten worden vertrouwd. Wanneer meerdere deelcapsules het eens zijn over hetzelfde geheel, versterkt routing die verbinding. Het oorspronkelijke CapsNet behaalde sterke resultaten op MNIST en was met name robuust wat betreft overlappende cijfers en affiene transformaties, waarmee het 'Picasso-probleem' werd aangepakt waarbij CNN's door elkaar gegooide gelaatstrekken als een geldig gezicht accepteren.
Technisch inzicht
Het belangrijkste mechanisme is een 'squash'-niet-lineariteit die korte vectoren naar nul en lange vectoren naar lengte één krimpt, zodat de vectorgrootte als een waarschijnlijkheid wordt gelezen. Dynamische routering voert vervolgens een paar iteraties uit van een softmax-gewogen overeenkomststap: elke lagere capsule stuurt zijn voorspelling naar boven, en de koppelingscoëfficiënten nemen toe voor hogere capsules waarvan de output (via puntproduct) op één lijn ligt met die voorspelling. Dit vervangt max-pooling, waardoor nauwkeurige ruimtelijke informatie behouden blijft in plaats van deze weg te gooien.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van capsulenetwerken
Capsulenetwerken blijven meer een onderzoeksrichting dan een geïmplementeerde standaard, grotendeels omdat dynamische routering rekentechnisch duur is en slecht schaalbaar is naar grote afbeeldingen zoals ImageNet. Later werk onderzocht EM-routering (Matrix Capsules) en op zelfaandacht gebaseerde routering om de efficiëntie te verbeteren. Naarmate de belangstelling voor gelijkwaardigheid, steekproefefficiëntie en interpreteerbare deel-geheel-hiërarchieën groeit, blijven capsule-ideeën het onderzoek beïnvloeden, inclusief Hintons latere GLOM-voorstel, zelfs nu Transformers de mainstreamvisie domineren.
Implementatie in de echte wereld
Het classificeren van handgeschreven cijfers op MNIST terwijl de invoer van capsulevectoren wordt gereconstrueerd, waarbij wordt aangetoond dat de pose-parameters zinvol zijn.
Het scheiden van twee overlappende cijfers (de MultiMNIST-taak) door te segmenteren welke pixels bij welke entiteit horen.
Onderzoek op het gebied van medische beeldvorming waarbij gebruik wordt gemaakt van capsules om longknobbeltjes of hersentumoren te detecteren waarbij de ruimtelijke relaties tussen delen en het geheel van belang zijn.
Objecten herkennen vanuit nieuwe gezichtspunten met minder trainingsvoorbeelden, waarbij gebruik wordt gemaakt van de ingebouwde gezichtspuntequivariantie van de architectuur.
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Snelwegnetwerken en skip-verbindingen
Frequently asked questions
What is Capsule Networks?
Capsulenetwerken zijn een neurale architectuur die neuronen groepeert in 'capsules' die vectoren uitvoeren die coderen voor zowel het bestaan van een kenmerk als de pose ervan (positie, oriëntatie, schaal). Ze streven ernaar een kernblindheid in standaard convolutionele netwerken op te lossen: het uit het oog verliezen van ruimtelijke relaties tussen delen.
Wat vertegenwoordigt in een capsulenetwerk de LENGTE van de uitvoervector van een capsule?
De lengte (grootte) van de vector codeert de waarschijnlijkheid dat de entiteit bestaat, terwijl de oriëntatie ervan parameters codeert zoals positie en rotatie.
Welk probleem met standaard CNN's moesten capsulenetwerken specifiek aanpakken?
CNN's met max-pooling negeren precieze ruimtelijke relaties, dus een gezicht met misplaatste kenmerken kan nog steeds hoog scoren. Dit is het 'Picasso-probleem' dat capsules proberen op te lossen.
Wat is de naam van het algoritme dat beslist welke capsules van een lager niveau verbinding maken met welke capsules van een hoger niveau?
Dynamische routing per overeenkomst versterkt iteratief de verbindingen tussen capsules waarvan de voorspellingen overeenkomen met de output van een hogere capsule.
Wie introduceerde in 2017 het capsulenetwerk met dynamische routing?
Het artikel 'Dynamic Routing Between Capsules' uit 2017 is geschreven door Sara Sabour, Nicholas Frosst en Geoffrey Hinton.
Wat is het doel van de 'squash'-functie in een capsulenetwerk?
De squash-niet-lineariteit krimpt korte vectoren naar nul en sluit lange vectoren af die bijna lengte één zijn, zodat de grootte kan worden gelezen als een waarschijnlijkheid terwijl de oriëntatie (pose) behouden blijft.