ΕπόμενοΕπόμενος οδηγός
Μετάφραση εικόνας σε εικόνα Pix2Pix
Οπτική τεχνητή νοημοσύνη
ΟΔΗΓΟΣ οπτικού AI
Μη ζευγαρωμένη μετάφραση CycleGAN
Το CycleGAN μαθαίνει να μεταφράζει εικόνες μεταξύ δύο οπτικών τομέων (όπως άλογα σε ζέβρες ή φωτογραφίες σε πίνακες) χωρίς να χρειάζεται ποτέ ταιριαστά ζεύγη παραδειγμάτων πριν και μετά.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because collecting paired training data is often impossible, and CycleGAN unlocks style transfer for messy real-world datasets.
Βαθιά κατάδυση
Το CycleGAN, το οποίο παρουσιάστηκε το 2017 από τους Zhu, Park, Isola και Efros, αντιμετωπίζει τη μη ζευγοποιημένη μετάφραση εικόνας σε εικόνα. Οι περισσότερες προηγούμενες μέθοδοι (όπως το pix2pix) χρειάζονταν ακριβή ζεύγη: την ίδια σκηνή με μια φωτογραφία και ως σκίτσο. Το CycleGAN καταργεί αυτήν την απαίτηση χρησιμοποιώντας δύο γεννήτριες (το G μετατρέπει τον τομέα A σε B, το F μετατρέπει το B πίσω σε A) και δύο διαχωριστές που κρίνουν τον ρεαλισμό σε κάθε τομέα. Η σημαντική ανακάλυψη είναι η απώλεια συνοχής κύκλου: αν μεταφράσετε μια φωτογραφία αλόγου σε ζέβρα και τη μεταφράσετε πίσω, θα πρέπει να ανακτήσετε το αρχικό άλογο. Αυτός ο περιορισμός εμποδίζει τη γεννήτρια να εφεύρει αυθαίρετες εξόδους και αναγκάζει ουσιαστικές αντιστοιχίσεις που διατηρούν το περιεχόμενο. Μετατρέπει τα καλοκαιρινά τοπία σε χειμώνα, τους πίνακες του Μονέ σε φωτογραφίες και τα μήλα σε πορτοκάλια, όλα αυτά διδάσκονται από δύο άσχετους σωρούς εικόνων.
Υλοποίηση σε πραγματικό κόσμο
Μετατροπή φωτογραφιών στο στυλ ζωγραφικής του Μονέ, του Βαν Γκογκ ή του Σεζάν χωρίς ζευγαρωμένα παραδείγματα φωτο-ζωγραφικής
Μετατροπή καλοκαιρινών τοπίων σε χειμερινές σκηνές (και αντίστροφα) για δημιουργία ταινιών και παιχνιδιών
Μετάφραση σαρώσεων μαγνητικής τομογραφίας σε εικόνες που μοιάζουν με αξονική τομογραφία στην ιατρική έρευνα όπου οι σαρώσεις ζευγαρωμένων ασθενών δεν είναι διαθέσιμες
Προσαρμογή συνθετικού πλάνα από προσομοιωτή οδήγησης ώστε να δείχνει φωτορεαλιστικό για την εκπαίδευση της αντίληψης του αυτόνομου οχήματος
The Future of CycleGAN Unpaired Translation
Η βασική ιδέα του CycleGAN, η συνέπεια του κύκλου, συνεχίζει να ζει στη σύγχρονη εργασία μετάφρασης χωρίς σύζευξη, συμπεριλαμβανομένων μεθόδων που βασίζονται στη διάχυση που ανταλλάσσουν τη ραχοκοκαλιά του GAN για την αφαίρεση θορύβου μοντέλων με πιο ευκρινείς, πιο ποικίλες εξόδους. Οι ερευνητές εφαρμόζουν τώρα τη μη ζευγοποιημένη μετάφραση στην ιατρική απεικόνιση (σύνθεση τρόπων σάρωσης), προσαρμογή τομέα για μεταφορά προσομοίωσης αυτοοδήγησης σε πραγματικό χρόνο και αύξηση δεδομένων. Αναμένετε αυστηρότερο έλεγχο για το τι αλλάζει σε σχέση με το τι παραμένει σταθερό, καθώς και υβριδικές προσεγγίσεις που συνδυάζουν περιορισμούς κύκλου με επεξεργασία διάχυσης υπό όρους κειμένου.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
- Δημιουργήστε επιλογές. Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
- Ομάδα και ροή εργασίας. Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Προσέξτε
- Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
- Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
- Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Επόμενα βήματα
- Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
- Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
- Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
- Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the CycleGAN Unpaired Translation quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is CycleGAN Unpaired Translation?
Το CycleGAN μαθαίνει να μεταφράζει εικόνες μεταξύ δύο οπτικών τομέων (όπως άλογα σε ζέβρες ή φωτογραφίες σε πίνακες) χωρίς να χρειάζεται ποτέ ταιριαστά ζεύγη παραδειγμάτων πριν και μετά. Έχει σημασία γιατί η συλλογή δεδομένων ζευγοποίησης εκπαίδευσης είναι συχνά αδύνατη και το CycleGAN ξεκλειδώνει τη μεταφορά στυλ για ακατάστατα σύνολα δεδομένων πραγματικού κόσμου.
Ποιο βασικό πρόβλημα επιλύει το CycleGAN που δεν μπόρεσαν οι προηγούμενες μέθοδοι όπως το pix2pix;
Η κύρια συνεισφορά του CycleGAN είναι η μη ζευγοποιημένη μετάφραση, η εκμάθηση αντιστοιχίσεων μεταξύ τομέων από δύο άσχετες συλλογές εικόνων αντί από ακριβή ζεύγη.
Τι επιβάλλει η απώλεια συνοχής κύκλου;
Η συνοχή του κύκλου σημαίνει ότι το F(G(x)) πρέπει να ισούται με x: ένα άλογο που μετατρέπεται σε ζέβρα και η πλάτη πρέπει να μοιάζει με το αρχικό άλογο.
Πόσες γεννήτριες χρησιμοποιεί ένα τυπικό CycleGAN;
Το CycleGAN χρησιμοποιεί δύο γεννήτριες, μία για κάθε κατεύθυνση μετάφρασης (Α προς Β και Β προς Α), συν δύο διαχωριστές.
Τι τύπο διακρίσεων χρησιμοποιεί συνήθως το CycleGAN;
Το CycleGAN χρησιμοποιεί έναν διαχωριστή PatchGAN που κρίνει τα επικαλυπτόμενα patches ως αληθινά ή ψεύτικα, ενθαρρύνοντας τον τοπικό ρεαλισμό.
Γιατί μερικές φορές προστίθεται η απώλεια ταυτότητας στο CycleGAN;
Η απώλεια ταυτότητας τιμωρεί τις περιττές αλλαγές όταν μια εικόνα βρίσκεται ήδη στον τομέα προορισμού, συμβάλλοντας στη διατήρηση των χρωμάτων και της απόχρωσης.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα