Reti residue
Le reti residue (ResNet) sono reti neurali profonde che aggiungono "salta connessioni" consentendo ai livelli di apprendere piccoli aggiustamenti invece di trasformazioni complete.
Panoramica
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Immersione profonda
Prima di ResNets, l'impilamento di molti livelli paradossalmente peggiorava le prestazioni delle reti, anche sui dati di addestramento, un problema chiamato degrado. Nel 2015, i ricercatori di Microsoft Kaiming He e colleghi hanno introdotto il blocco residuo: invece di chiedere a una pila di strati di produrre direttamente un output H(x), hanno lasciato che imparasse un residuo F(x) = H(x) - x, quindi hanno aggiunto nuovamente l'input originale x tramite una scorciatoia. Se uno strato non è necessario, può semplicemente imparare a non fare nulla (F(x) = 0). ResNet-152 ha vinto il concorso ImageNet 2015 con un errore tra i primi 5 di circa il 3,6%, battendo le stime a livello umano, e la sua architettura è diventata una spina dorsale fondamentale per il rilevamento, la segmentazione e l'imaging medico.
Approfondimento tecnico
La connessione skip trasforma il lavoro di ciascun blocco in y = F(x) + x. Durante la propagazione all'indietro, il gradiente scorre attraverso la scorciatoia di identità senza modifiche, quindi non può svanire quasi a zero anche attraverso centinaia di livelli. Ciò mantiene gli stack profondi addestrabili. Le scorciatoie di identità non aggiungono parametri aggiuntivi; solo quando le dimensioni di input e output differiscono, una piccola proiezione (convoluzione 1x1) regola le dimensioni prima dell'aggiunta.
Impatto strategico
Velocità e scala
L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
Scelte di build
I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
Team e flusso di lavoro
Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.
Il futuro delle reti residue
Le connessioni residue sono ora quasi universali: trasformatori, modelli di diffusione e modelli linguistici di grandi dimensioni li utilizzano tutti per stabilizzare l'addestramento di stack molto profondi. La ricerca continua su varianti come ResNets pre-attivazione, percorsi raggruppati di ResNeXt e combinazione di idee residue con formazione priva di normalizzazione. Aspettatevi che il principio fondamentale di skip-connection persista come elemento costitutivo predefinito, anche se le architetture circostanti si allontanano dalle pure convoluzioni verso l’attenzione e i progetti ibridi.
Implementazione nel mondo reale
Dorsali di classificazione ImageNet (ResNet-50, ResNet-101) utilizzati come estrattori di funzionalità preaddestrati per l'apprendimento del trasferimento
Rilevamento di tumori e lesioni in immagini radiologiche e patologiche utilizzando codificatori basati su ResNet
Framework di rilevamento degli oggetti e segmentazione delle istanze come Faster R-CNN e Mask R-CNN che utilizzano backbone ResNet
Condutture di percezione della guida autonoma che classificano pedoni, veicoli e segnali dalle inquadrature delle telecamere
Rischi e guardrail
I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.
Tabella di marcia per l'implementazione
Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
Testare con dati che corrispondono alle reali condizioni di produzione.
Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Presentano reti piramidali
Domande frequenti
What is Residual Networks?
Le reti residue (ResNet) sono reti neurali profonde che aggiungono "salta connessioni" consentendo ai livelli di apprendere piccoli aggiustamenti invece di trasformazioni complete. Questo semplice trucco ha permesso di addestrare reti profonde centinaia di strati, facendo fare un balzo in avanti nella precisione del riconoscimento delle immagini.
Quale problema hanno risolto nello specifico le connessioni residue?
Prima di ResNets, l'aggiunta di più livelli causava un peggioramento della precisione anche sui dati di addestramento. Salta connessioni ha risolto questo problema rendendo i livelli facili da ottimizzare.
Cosa calcola effettivamente un blocco residuo come output?
Un blocco residuo emette y = F(x) + x, aggiungendo il residuo appreso all'ingresso tramite una connessione di salto.
Perché saltare le connessioni aiuta i gradienti durante l'allenamento?
La scorciatoia di identità fornisce un percorso diretto affinché i gradienti scorrano all'indietro senza modifiche, prevenendo il problema del gradiente di fuga negli stack molto profondi.
All'incirca quanti strati aveva il modello ResNet vincitore del 2015?
ResNet-152, con 152 layer, ha vinto il concorso ImageNet 2015, dimostrando che ora è possibile addestrare con successo reti molto profonde.
Se gli strati di un blocco residuo apprendono F(x) = 0, cosa fa il blocco?
Quando F(x) = 0, l'output è solo x, quindi il blocco diventa una mappatura di identità. Ciò rende gli strati aggiuntivi innocui se non sono necessari.