Il prossimoProssima guida
Recupero di passaggi densi
Intelligenza artificiale linguistica
GUIDA TECNICA
DenseNet è una rete convoluzionale in cui ogni livello riceve come input le mappe delle caratteristiche di tutti i livelli precedenti.
Ascolta questa guidaNarrato dall'IA · ~2 min
Questa fitta connettività affina il flusso del gradiente, incoraggia il riutilizzo delle caratteristiche e raggiunge una forte accuratezza con molti meno parametri rispetto a reti profonde comparabili.
DenseNet, introdotto da Huang, Liu, van der Maaten e Weinberger nel 2017, collega ogni strato a ogni altro strato in modo feed-forward. Uno strato con L strati totali ha L(L+1)/2 connessioni dirette invece della solita L. Fondamentalmente, DenseNet concatena le mappe delle caratteristiche in entrata anziché sommarle come fa ResNet, quindi ogni strato vede la conoscenza collettiva di tutti gli strati precedenti e contribuisce solo con un piccolo numero di nuove mappe (il suo tasso di crescita, spesso k = 12 o 32). La rete è suddivisa in densi blocchi separati da strati di transizione che effettuano il downsampling. Questo design allevia il problema del gradiente evanescente, rafforza la propagazione delle caratteristiche ed è altamente efficiente in termini di parametri: DenseNet-BC ha eguagliato la precisione ResNet su ImageNet con circa un terzo dei parametri.
Le pipeline di imaging medico (ad esempio CheXNet per il rilevamento della polmonite) hanno costruito dorsali DenseNet-121 per classificare le radiografie del torace con elevata sensibilità.
Le app mobili per la classificazione delle malattie delle piante e delle colture utilizzano DenseNet compatte perché raggiungono una buona precisione con pochi parametri.
La classificazione della copertura del suolo tramite satellite e telerilevamento sfrutta il riutilizzo di elementi densi per distinguere sottili differenze di consistenza.
La visione integrata su dispositivi con memoria limitata utilizza le varianti DenseNet-BC per ottenere una precisione di livello ResNet a costi di archiviazione inferiori.
Le DenseNet pure sono meno dominanti ora che i trasformatori di visione e i progetti in stile ConvNeXt guidano i benchmark, ma la connettività densa rimane influente. La sua idea di concatenazione riappare in dorsali efficienti, modelli di imaging medico e decodificatori di segmentazione in cui il riutilizzo delle funzionalità è importante con budget di memoria limitati. Aspettatevi progetti ibridi che prendano in prestito modelli di skip densi per i dispositivi edge, oltre all'uso continuato di varianti DenseNet in cui i dati etichettati sono scarsi e l'efficienza dei parametri supera la scala grezza.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
DenseNet è una rete convoluzionale in cui ogni livello riceve come input le mappe delle caratteristiche di tutti i livelli precedenti. Questa fitta connettività ottimizza il flusso del gradiente, incoraggia il riutilizzo delle funzionalità e raggiunge un'elevata precisione con molti meno parametri rispetto a reti profonde comparabili.
DenseNet concatena le mappe delle caratteristiche di tutti i livelli precedenti lungo la dimensione del canale, a differenza di ResNet che le aggiunge.
Ciascun livello produce solo k nuove mappe di funzionalità, mantenendo la crescita del canale lineare e il modello compatto.
La connessione di ogni strato a tutti gli strati successivi produce connessioni dirette L(L+1)/2.
I livelli di transizione utilizzano la convoluzione e il pooling 1x1 per comprimere e sottocampionare le mappe delle caratteristiche tra blocchi densi.
Le connessioni dirette alla perdita forniscono a ogni livello un breve percorso di gradiente, facilitando i gradienti in via di estinzione e consentendo una supervisione approfondita.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Recupero di passaggi densi
Intelligenza artificiale linguistica