Technische GIDS

Capsule-netwerken

Capsulenetwerken zijn een neurale architectuur die neuronen groepeert in 'capsules' die vectoren uitvoeren die coderen voor zowel het bestaan ​​van een kenmerk als de pose ervan (positie, oriëntatie, schaal).

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van capsulenetwerken
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.

Diepe duik

Voorgesteld door Geoffrey Hinton, Sara Sabour en Nicholas Frosst in 2017, vervangen capsulenetwerken de output van een scalaire neuron door een vector. De lengte van de vector vertegenwoordigt de waarschijnlijkheid dat een entiteit (zoals een oog of een neus) aanwezig is, terwijl de oriëntatie ervan poseparameters codeert. Capsules op een lager niveau voorspellen de houding van capsules op een hoger niveau via transformatiematrices, en een proces dat dynamische routing-by-overeenkomst wordt genoemd, beslist welke voorspellingen moeten worden vertrouwd. Wanneer meerdere deelcapsules het eens zijn over hetzelfde geheel, versterkt routing die verbinding. Het oorspronkelijke CapsNet behaalde sterke resultaten op MNIST en was met name robuust wat betreft overlappende cijfers en affiene transformaties, waarmee het 'Picasso-probleem' werd aangepakt waarbij CNN's door elkaar gegooide gelaatstrekken als een geldig gezicht accepteren.

Implementatie in de echte wereld

Het classificeren van handgeschreven cijfers op MNIST terwijl de invoer van capsulevectoren wordt gereconstrueerd, waarbij wordt aangetoond dat de pose-parameters zinvol zijn.

Het scheiden van twee overlappende cijfers (de MultiMNIST-taak) door te segmenteren welke pixels bij welke entiteit horen.

Onderzoek op het gebied van medische beeldvorming waarbij gebruik wordt gemaakt van capsules om longknobbeltjes of hersentumoren te detecteren waarbij de ruimtelijke relaties tussen delen en het geheel van belang zijn.

Objecten herkennen vanuit nieuwe gezichtspunten met minder trainingsvoorbeelden, waarbij gebruik wordt gemaakt van de ingebouwde gezichtspuntequivariantie van de architectuur.

De toekomst van capsulenetwerken

Capsulenetwerken blijven meer een onderzoeksrichting dan een geïmplementeerde standaard, grotendeels omdat dynamische routering rekentechnisch duur is en slecht schaalbaar is naar grote afbeeldingen zoals ImageNet. Later werk onderzocht EM-routering (Matrix Capsules) en op zelfaandacht gebaseerde routering om de efficiëntie te verbeteren. Naarmate de belangstelling voor gelijkwaardigheid, steekproefefficiëntie en interpreteerbare deel-geheel-hiërarchieën groeit, blijven capsule-ideeën het onderzoek beïnvloeden, inclusief Hintons latere GLOM-voorstel, zelfs nu Transformers de mainstreamvisie domineren.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Capsule Networks quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

What is Capsule Networks?

Capsulenetwerken zijn een neurale architectuur die neuronen groepeert in 'capsules' die vectoren uitvoeren die coderen voor zowel het bestaan van een kenmerk als de pose ervan (positie, oriëntatie, schaal). Ze streven ernaar een kernblindheid in standaard convolutionele netwerken op te lossen: het uit het oog verliezen van ruimtelijke relaties tussen delen.

Wat vertegenwoordigt in een capsulenetwerk de LENGTE van de uitvoervector van een capsule?

De lengte (grootte) van de vector codeert de waarschijnlijkheid dat de entiteit bestaat, terwijl de oriëntatie ervan parameters codeert zoals positie en rotatie.

Welk probleem met standaard CNN's moesten capsulenetwerken specifiek aanpakken?

CNN's met max-pooling negeren precieze ruimtelijke relaties, dus een gezicht met misplaatste kenmerken kan nog steeds hoog scoren. Dit is het 'Picasso-probleem' dat capsules proberen op te lossen.

Wat is de naam van het algoritme dat beslist welke capsules van een lager niveau verbinding maken met welke capsules van een hoger niveau?

Dynamische routing per overeenkomst versterkt iteratief de verbindingen tussen capsules waarvan de voorspellingen overeenkomen met de output van een hogere capsule.

Wie introduceerde in 2017 het capsulenetwerk met dynamische routing?

Het artikel 'Dynamic Routing Between Capsules' uit 2017 is geschreven door Sara Sabour, Nicholas Frosst en Geoffrey Hinton.

Wat is het doel van de 'squash'-functie in een capsulenetwerk?

De squash-niet-lineariteit krimpt korte vectoren naar nul en sluit lange vectoren af ​​die bijna lengte één zijn, zodat de grootte kan worden gelezen als een waarschijnlijkheid terwijl de oriëntatie (pose) behouden blijft.