Υπολειμματικά Δίκτυα
Τα υπολειπόμενα δίκτυα (ResNets) είναι βαθιά νευρωνικά δίκτυα που προσθέτουν «παράλειψη συνδέσεων» επιτρέποντας στα επίπεδα να μαθαίνουν μικρές προσαρμογές αντί για πλήρεις μετασχηματισμούς.
Επισκόπηση
Αυτό το απλό τέχνασμα κατέστησε δυνατή την εκπαίδευση δικτύων βάθους εκατοντάδων επιπέδων, πυροδοτώντας ένα άλμα στην ακρίβεια αναγνώρισης εικόνας.
Βαθιά κατάδυση
Πριν από το ResNets, η στοίβαξη πολλών επιπέδων παραδόξως έκανε τα δίκτυα να έχουν χειρότερη απόδοση, ακόμη και σε δεδομένα εκπαίδευσης, ένα πρόβλημα που ονομάζεται υποβάθμιση. Το 2015, οι Microsoft ερευνητές Kaiming He και οι συνεργάτες του εισήγαγαν το υπολειπόμενο μπλοκ: αντί να ζητήσουν από μια στοίβα στρώσεων να παράγει απευθείας έξοδο H(x), το άφησαν να μάθει ένα υπολειπόμενο F(x) = H(x) - x και μετά πρόσθεσαν την αρχική είσοδο x πίσω μέσω μιας συντόμευσης. Εάν ένα επίπεδο δεν είναι απαραίτητο, μπορεί απλά να μάθει να μην κάνει τίποτα (F(x) = 0). Το ResNet-152 κέρδισε τον διαγωνισμό ImageNet του 2015 με σφάλμα top-5 περίπου 3,6%, ξεπερνώντας τις εκτιμήσεις σε ανθρώπινο επίπεδο και η αρχιτεκτονική του έγινε η θεμελιώδης ραχοκοκαλιά για ανίχνευση, τμηματοποίηση και ιατρική απεικόνιση.
Τεχνική διορατικότητα
Η σύνδεση παράκαμψης μετατρέπει την εργασία κάθε μπλοκ σε y = F(x) + x. Κατά τη διάρκεια της οπίσθιας διάδοσης, η κλίση ρέει μέσα από τη συντόμευση ταυτότητας αμετάβλητη, επομένως δεν μπορεί να εξαφανιστεί σχεδόν στο μηδέν ακόμη και σε εκατοντάδες επίπεδα. Αυτό διατηρεί τις βαθιές στοίβες εκπαιδεύσιμες. Οι συντομεύσεις ταυτότητας δεν προσθέτουν επιπλέον παραμέτρους. Μόνο όταν τα μεγέθη εισόδου και εξόδου διαφέρουν, μια μικρή προβολή (συνέλιξη 1x1) προσαρμόζει τις διαστάσεις πριν από την προσθήκη.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον των υπολειπόμενων δικτύων
Οι υπολειπόμενες συνδέσεις είναι πλέον σχεδόν καθολικές: Οι μετασχηματιστές, τα μοντέλα διάχυσης και τα μοντέλα μεγάλων γλωσσών τα χρησιμοποιούν όλα για να σταθεροποιήσουν την εκπαίδευση πολύ βαθιών στοίβων. Η έρευνα συνεχίζεται για παραλλαγές όπως τα ResNets προ-ενεργοποίησης, οι ομαδοποιημένες διαδρομές του ResNeXt και ο συνδυασμός υπολειπόμενων ιδεών με εκπαίδευση χωρίς κανονικοποίηση. Αναμένετε ότι η βασική αρχή παράλειψης σύνδεσης θα παραμείνει ως προεπιλεγμένο δομικό στοιχείο, ακόμη και όταν οι γύρω αρχιτεκτονικές απομακρύνονται από τις καθαρές συνελίξεις προς την προσοχή και τα υβριδικά σχέδια.
Υλοποίηση σε πραγματικό κόσμο
Σκελετοί ταξινόμησης ImageNet (ResNet-50, ResNet-101) που χρησιμοποιούνται ως προεκπαιδευμένοι εξαγωγείς χαρακτηριστικών για τη μεταφορά εκμάθησης
Ανίχνευση όγκου και αλλοιώσεων σε ακτινολογικές και παθολογικές εικόνες με χρήση κωδικοποιητών που βασίζονται σε ResNet
Πλαίσια ανίχνευσης αντικειμένων και τμηματοποίησης παρουσιών όπως το Faster R-CNN και το Mask R-CNN που χρησιμοποιούν κορμούς ResNet
Σωληνώσεις αντίληψης αυτοοδήγησης που ταξινομούν τους πεζούς, τα οχήματα και τις πινακίδες από τα πλαίσια της κάμερας
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Χαρακτηριστικά Δίκτυα Πυραμίδας
Συχνές ερωτήσεις
Τι είναι τα Υπολειμματικά Δίκτυα;
Τα υπολειπόμενα δίκτυα (ResNets) είναι βαθιά νευρωνικά δίκτυα που προσθέτουν «παράλειψη συνδέσεων» επιτρέποντας στα επίπεδα να μαθαίνουν μικρές προσαρμογές αντί για πλήρεις μετασχηματισμούς. Αυτό το απλό τέχνασμα κατέστησε δυνατή την εκπαίδευση δικτύων σε βάθος εκατοντάδων επιπέδων, πυροδοτώντας ένα άλμα στην ακρίβεια αναγνώρισης εικόνας.
Τι πρόβλημα έλυσαν συγκεκριμένα οι υπολειπόμενες συνδέσεις;
Πριν από το ResNets, η προσθήκη περισσότερων επιπέδων προκάλεσε υποβάθμιση της ακρίβειας ακόμη και στα δεδομένα εκπαίδευσης. Η παράκαμψη συνδέσεων διόρθωσε αυτό, κάνοντας τα επίπεδα να βελτιστοποιηθούν εύκολα.
Τι υπολογίζει στην πραγματικότητα ένα υπολειπόμενο μπλοκ ως έξοδο;
Ένα υπολειπόμενο μπλοκ βγάζει y = F(x) + x, προσθέτοντας το μαθημένο υπόλοιπο στην είσοδο μέσω μιας σύνδεσης παράλειψης.
Γιατί οι συνδέσεις παράλειψης βοηθούν τις κλίσεις κατά τη διάρκεια της προπόνησης;
Η συντόμευση ταυτότητας παρέχει μια άμεση διαδρομή για τις διαβαθμίσεις να ρέουν προς τα πίσω αμετάβλητα, αποτρέποντας το πρόβλημα της διαβάθμισης εξαφάνισης σε πολύ βαθιές στοίβες.
Πόσα επίπεδα περίπου είχε το νικητήριο μοντέλο ResNet από το 2015;
Το ResNet-152, με 152 επίπεδα, κέρδισε τον διαγωνισμό ImageNet του 2015, αποδεικνύοντας ότι τα πολύ βαθιά δίκτυα μπορούσαν πλέον να εκπαιδευτούν με επιτυχία.
Εάν τα στρώματα ενός υπολειπόμενου μπλοκ μαθαίνουν F(x) = 0, τι κάνει το μπλοκ;
Όταν F(x) = 0, η έξοδος είναι μόνο x, οπότε το μπλοκ γίνεται αντιστοίχιση ταυτότητας. Αυτό καθιστά τα επιπλέον στρώματα αβλαβή εάν δεν χρειάζονται.