Il prossimoProssima guida
Reti di trasformatori spaziali
IA visiva
GUIDA AI visiva
Le Feature Pyramid Networks (FPN) consentono ai rilevatori di individuare oggetti di dimensioni molto diverse costruendo una "piramide" multiscala di caratteristiche in modo economico.
Ascolta questa guidaNarrato dall'IA · ~2 min
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Gli oggetti nelle immagini appaiono su molte scale e una singola mappa delle caratteristiche fatica a gestirli tutti. Gli approcci più vecchi costruivano piramidi di immagini ridimensionando la foto molte volte ed eseguendo la rete su ogni copia, il che era lento. FPN, introdotto da Lin et al. nel 2017, riutilizza invece la piramide naturale già all'interno di una rete convoluzionale. Una dorsale come ResNet produce mappe di caratteristiche che diventano più piccole e più semanticamente più profonde nella rete. FPN aggiunge un percorso top-down: sovracampiona caratteristiche profonde e semanticamente ricche e le unisce tramite connessioni laterali con caratteristiche superficiali e ad alta risoluzione. Il risultato è una serie di mappe di caratteristiche che sono tutte semanticamente forti ma mantengono dettagli spaziali precisi, migliorando notevolmente il rilevamento di piccoli oggetti quasi senza costi aggiuntivi.
Rilevamento simultaneo di piccoli pedoni distanti e di grandi veicoli vicini negli stack di percezione delle auto a guida autonoma
Potenziamento della segmentazione delle istanze in Mask R-CNN, dove FPN fornisce funzionalità multiscala alla proposta regionale e ai capi della maschera
Individuazione di piccoli tumori accanto a grandi organi nelle condutture di rilevamento dell'imaging medico
Trovare oggetti di varie dimensioni nelle immagini satellitari e aeree, dalle piccole imbarcazioni ai grandi edifici
Il design top-down di FPN ha generato molti successori: PAnet aggiunge un percorso bottom-up, BiFPN (utilizzato in EfficientDet) rende la fusione apprendibile e bidirezionale con connessioni ponderate e NAS-FPN ricerca automaticamente la topologia di fusione. I rilevatori di trasformatori come DETR eludono le piramidi esplicite, ma la fusione multiscala rimane centrale. Aspettatevi che le idee in stile FPN persistano all’interno dei trasformatori di visione e dei rilevatori efficienti sui dispositivi, sempre più con una ponderazione di scala adattiva e appresa piuttosto che con connessioni fisse.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Le Feature Pyramid Networks (FPN) consentono ai rilevatori di individuare oggetti di dimensioni molto diverse costruendo una "piramide" multiscala di caratteristiche in modo economico. Sono la ragione per cui i rilevatori moderni trovano nella stessa immagine sia un minuscolo pedone lontano che un enorme camion vicino.
FPN crea una rappresentazione di caratteristiche multiscala in modo che un rilevatore possa gestire oggetti che vanno da piccoli a molto grandi in un unico passaggio.
Il percorso dall'alto verso il basso sovracampiona le caratteristiche semantiche profonde e le fonde con mappe meno profonde e ad alta risoluzione in modo che ogni livello sia dettagliato e semanticamente forte.
Una convoluzione 1x1 regola il conteggio dei canali della mappa delle caratteristiche laterali, che viene quindi aggiunta in termini di elementi alla caratteristica top-down con upsampling 2x.
Dopo l'aggiunta degli elementi, una convoluzione 3x3 riduce gli artefatti di aliasing introdotti dall'upsampling, producendo livelli piramidali più puliti.
BiFPN, introdotto con EfficientDet, rende bidirezionale la fusione delle funzionalità e apprende i pesi relativi all'intensità del contributo di ciascun input.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Reti di trasformatori spaziali
IA visiva