VolgendeVolgende gids
Snelwegnetwerken en skip-verbindingen
Technisch
Technische GIDS
Capsulenetwerken zijn een neurale architectuur die neuronen groepeert in 'capsules' die vectoren uitvoeren die coderen voor zowel het bestaan van een kenmerk als de pose ervan (positie, oriëntatie, schaal).
Luister naar deze gidsAI-verteld · ~2 min
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
Voorgesteld door Geoffrey Hinton, Sara Sabour en Nicholas Frosst in 2017, vervangen capsulenetwerken de output van een scalaire neuron door een vector. De lengte van de vector vertegenwoordigt de waarschijnlijkheid dat een entiteit (zoals een oog of een neus) aanwezig is, terwijl de oriëntatie ervan poseparameters codeert. Capsules op een lager niveau voorspellen de houding van capsules op een hoger niveau via transformatiematrices, en een proces dat dynamische routing-by-overeenkomst wordt genoemd, beslist welke voorspellingen moeten worden vertrouwd. Wanneer meerdere deelcapsules het eens zijn over hetzelfde geheel, versterkt routing die verbinding. Het oorspronkelijke CapsNet behaalde sterke resultaten op MNIST en was met name robuust wat betreft overlappende cijfers en affiene transformaties, waarmee het 'Picasso-probleem' werd aangepakt waarbij CNN's door elkaar gegooide gelaatstrekken als een geldig gezicht accepteren.
Het classificeren van handgeschreven cijfers op MNIST terwijl de invoer van capsulevectoren wordt gereconstrueerd, waarbij wordt aangetoond dat de pose-parameters zinvol zijn.
Het scheiden van twee overlappende cijfers (de MultiMNIST-taak) door te segmenteren welke pixels bij welke entiteit horen.
Onderzoek op het gebied van medische beeldvorming waarbij gebruik wordt gemaakt van capsules om longknobbeltjes of hersentumoren te detecteren waarbij de ruimtelijke relaties tussen delen en het geheel van belang zijn.
Objecten herkennen vanuit nieuwe gezichtspunten met minder trainingsvoorbeelden, waarbij gebruik wordt gemaakt van de ingebouwde gezichtspuntequivariantie van de architectuur.
Capsulenetwerken blijven meer een onderzoeksrichting dan een geïmplementeerde standaard, grotendeels omdat dynamische routering rekentechnisch duur is en slecht schaalbaar is naar grote afbeeldingen zoals ImageNet. Later werk onderzocht EM-routering (Matrix Capsules) en op zelfaandacht gebaseerde routering om de efficiëntie te verbeteren. Naarmate de belangstelling voor gelijkwaardigheid, steekproefefficiëntie en interpreteerbare deel-geheel-hiërarchieën groeit, blijven capsule-ideeën het onderzoek beïnvloeden, inclusief Hintons latere GLOM-voorstel, zelfs nu Transformers de mainstreamvisie domineren.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Capsulenetwerken zijn een neurale architectuur die neuronen groepeert in 'capsules' die vectoren uitvoeren die coderen voor zowel het bestaan van een kenmerk als de pose ervan (positie, oriëntatie, schaal). Ze streven ernaar een kernblindheid in standaard convolutionele netwerken op te lossen: het uit het oog verliezen van ruimtelijke relaties tussen delen.
De lengte (grootte) van de vector codeert de waarschijnlijkheid dat de entiteit bestaat, terwijl de oriëntatie ervan parameters codeert zoals positie en rotatie.
CNN's met max-pooling negeren precieze ruimtelijke relaties, dus een gezicht met misplaatste kenmerken kan nog steeds hoog scoren. Dit is het 'Picasso-probleem' dat capsules proberen op te lossen.
Dynamische routing per overeenkomst versterkt iteratief de verbindingen tussen capsules waarvan de voorspellingen overeenkomen met de output van een hogere capsule.
Het artikel 'Dynamic Routing Between Capsules' uit 2017 is geschreven door Sara Sabour, Nicholas Frosst en Geoffrey Hinton.
De squash-niet-lineariteit krimpt korte vectoren naar nul en sluit lange vectoren af die bijna lengte één zijn, zodat de grootte kan worden gelezen als een waarschijnlijkheid terwijl de oriëntatie (pose) behouden blijft.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Snelwegnetwerken en skip-verbindingen
Technisch