U-Net Architecture
Το U-Net είναι ένα συνελικτικό νευρωνικό δίκτυο σε σχήμα «U» που υπερέχει στην παραγωγή εξόδων ακριβείας ως προς τα pixel, αρχικά για τμηματοποίηση βιοϊατρικής εικόνας.
Επισκόπηση
Its encoder-decoder design with skip connections makes it the backbone of modern image diffusion models.
Βαθιά κατάδυση
Το U-Net, το οποίο εισήχθη από τους Ronneberger, Fischer και Brox το 2015 για τη βιοϊατρική τμηματοποίηση, έχει μια διαδρομή συρρίκνωσης (κωδικοποιητής) που μειώνει τα δείγματα μιας εικόνας σε συμπαγή χαρακτηριστικά υψηλού επιπέδου και μια συμμετρική επεκτεινόμενη διαδρομή (αποκωδικοποιητής) που επαναφέρει τα δείγματα σε πλήρη ανάλυση. Η χαρακτηριστική του δυνατότητα είναι η παράλειψη συνδέσεων: οι χάρτες χαρακτηριστικών από κάθε επίπεδο κωδικοποιητή συνενώνονται στο αντίστοιχο επίπεδο αποκωδικοποιητή. Αυτό επιτρέπει στον αποκωδικοποιητή να επαναχρησιμοποιήσει λεπτές χωρικές λεπτομέρειες (άκρες, ακριβείς θέσεις) που διαφορετικά θα έχανε η μείωση δειγματοληψίας, έτσι ώστε οι έξοδοι να είναι σημασιολογικά πλούσιες και χωρικά ακριβείς. Το U-Net εκπαιδεύτηκε καλά από ελάχιστες σχολιασμένες εικόνες χρησιμοποιώντας έντονη αύξηση. Σήμερα τροφοδοτεί το Stable Diffusion και παρόμοια μοντέλα, όπου ένα U-Net προβλέπει τον θόρυβο που θα αφαιρεθεί σε κάθε βήμα αποθορβοποίησης, συχνά επαυξημένο με προσοχή και ρύθμιση χρονικών βημάτων.
Τεχνική διορατικότητα
Η μαγεία βρίσκεται στις συνδέσεις παράκαμψης. Καθώς ο κωδικοποιητής κατεβάζει τα δείγματα, αφαιρεί το «τι» υπάρχει αλλά θολώνει το «πού» βρίσκεται. Ο αποκωδικοποιητής κάνει up δείγματα για να ανακτήσει την ανάλυση, αλλά δεν έχει καθαρές λεπτομέρειες. Συνδέοντας κάθε χάρτη χαρακτηριστικών του κωδικοποιητή στον αποκωδικοποιητή στην ίδια κλίμακα, το U-Net μεταδίδει ακριβείς χωρικές πληροφορίες απευθείας στο σημείο συμφόρησης, επιτρέποντας να συνδυάζονται βαθιά σημασιολογικά χαρακτηριστικά και λεπτή εντοπισμός. Αυτός είναι ο λόγος για τον οποίο οι μάσκες τμηματοποίησης ευθυγραμμίζονται στενά στα όρια των αντικειμένων.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον της αρχιτεκτονικής U-Net
Το U-Net παραμένει άλογο, αλλά εξελίσσεται. Στη δημιουργία εικόνων, οι ραχοκοκαλιές διάχυσης που βασίζονται σε μετασχηματιστές (DiTs) προκαλούν το συνελικτικό U-Net σε μεγάλη κλίμακα, ενώ τα υβρίδια προσθέτουν επίπεδα προσοχής μέσα στο U-Net. Στην τμηματοποίηση, οι κωδικοποιητές μετασχηματιστών και τα μοντέλα θεμελίωσης όπως το SAM βασίζονται σε ιδέες U-Net. Αναμένετε ότι η αρχή της σύνδεσης παράλειψης του U-Net θα παραμείνει ακόμη και όταν τα δομικά στοιχεία μετατοπίζονται από τις καθαρές συνελίξεις προς τις αρχιτεκτονικές που βασίζονται στην προσοχή και τις υβριδικές αρχιτεκτονικές.
Υλοποίηση σε πραγματικό κόσμο
Τμηματοποίηση όγκων, κυττάρων ή οργάνων σε εικόνες μαγνητικής τομογραφίας και μικροσκοπίας, η αρχική και ακόμη κοινή χρήση του U-Net.
Χρησιμεύει ως το δίκτυο απενεργοποίησης θορύβου στο Stable Diffusion, προβλέποντας τον θόρυβο που θα αφαιρεθεί σε κάθε βήμα της δημιουργίας εικόνας.
Ανάλυση δορυφορικής και εναέριας εικόνας, όπως χαρτογράφηση δρόμων, κτιρίων ή αποψίλωση των δασών pixel-pixel.
Εργασίες εικόνας σε εικόνα, όπως αφαίρεση φόντου, ζωγραφική και υπερ-ανάλυση, όπου η έξοδος πρέπει να ευθυγραμμιστεί με τα εικονοστοιχεία εισόδου.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the U-Net Architecture quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Αρχιτεκτονική StyleGAN
Συχνές ερωτήσεις
What is U-Net Architecture?
Το U-Net είναι ένα συνελικτικό νευρωνικό δίκτυο σε σχήμα «U» που υπερέχει στην παραγωγή εξόδων ακριβείας ως προς τα pixel, αρχικά για τμηματοποίηση βιοϊατρικής εικόνας. Ο σχεδιασμός κωδικοποιητή-αποκωδικοποιητή με συνδέσεις παράβλεψης το καθιστά τη ραχοκοκαλιά των σύγχρονων μοντέλων διάχυσης εικόνας.
Τι δίνει στο U-Net το σχήμα «U» του;
Ο συσταλτικός κωδικοποιητής και ο συμμετρικός διαστελλόμενος αποκωδικοποιητής σχηματίζουν τους δύο βραχίονες του «U».
Ποιος είναι ο σκοπός των συνδέσεων παράλειψης του U-Net;
Παράλειψη συνδέσεων συνενώνει χάρτες χαρακτηριστικών κωδικοποιητών στον αποκωδικοποιητή, αποκαθιστώντας ακριβείς χωρικές λεπτομέρειες που χάθηκαν κατά τη μείωση της δειγματοληψίας.
Για ποιο λόγο σχεδιάστηκε αρχικά το U-Net;
Ο Ronneberger και οι συνεργάτες του παρουσίασαν το U-Net το 2015 για την τμηματοποίηση βιοϊατρικών εικόνων, αποδίδοντας καλά με λίγες εικόνες με ετικέτα.
Στο Stable Diffusion, τι προβλέπει το U-Net σε κάθε βήμα;
Το U-Net διάχυσης είναι εκπαιδευμένο να προβλέπει τον θόρυβο που προστίθεται στο λανθάνον, ώστε να μπορεί να αφαιρεθεί, σταδιακά αφαιρώντας τον θόρυβο προς μια εικόνα.
Τι συμβαίνει με τις χωρικές πληροφορίες καθώς ο κωδικοποιητής κατεβάζει τα δείγματα;
Η μείωση δειγματοληψίας δημιουργεί σημασιολογικά χαρακτηριστικά υψηλού επιπέδου ενώ θολώνει την ακριβή χωρική εντόπιση, η οποία παρακάμπτει τις συνδέσεις αργότερα βοηθά στην αποκατάσταση.