ΕπόμενοΕπόμενος οδηγός
Μη ζευγαρωμένη μετάφραση CycleGAN
Οπτική τεχνητή νοημοσύνη
ΟΔΗΓΟΣ οπτικού AI
Μετάφραση εικόνας σε εικόνα Pix2Pix
Το Pix2Pix είναι ένα υπό όρους GAN που μαθαίνει να μεταφράζει έναν τύπο εικόνας σε άλλο, όπως να μετατρέπει ένα σκίτσο σε φωτογραφία ή έναν χάρτη σε δορυφορική προβολή.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It established a general recipe for paired image-to-image translation tasks.
Βαθιά κατάδυση
Το Pix2Pix, το οποίο εισήχθη από την Isola και τους συνεργάτες του το 2017, αντιμετωπίζει τη μετάφραση ως παραγωγή υπό όρους: η ίδια η εικόνα εισόδου είναι η συνθήκη. Η γεννήτριά του είναι ένα U-Net, ένας κωδικοποιητής-αποκωδικοποιητής με συνδέσεις παράλειψης που μεταφέρουν λεπτομέρειες χαμηλού επιπέδου όπως ακμές απευθείας από την είσοδο στην έξοδο. Το διακριτικό είναι ένα PatchGAN που κρίνει τον ρεαλισμό σε μικρά τοπικά μπαλώματα και όχι σε ολόκληρη την εικόνα, γεγονός που οξύνει τις υφές. Η προπόνηση συνδυάζει μια αντίθετη απώλεια με μια απώλεια L1 (διαφορά pixel), ώστε τα αποτελέσματα να παραμένουν ρεαλιστικά και πιστά στον στόχο. Το αλίευμα είναι ότι το Pix2Pix χρειάζεται ζευγοποιημένα δεδομένα εκπαίδευσης, δηλαδή ταιριασμένα παραδείγματα εισόδου-εξόδου, τα οποία ενέπνευσαν επακόλουθα όπως το CycleGAN που μαθαίνουν από μη ζευγαρωμένες συλλογές.
Υλοποίηση σε πραγματικό κόσμο
Μετατροπή χειροποίητων σκίτσων άκρων σε φωτορεαλιστικά αντικείμενα όπως τσάντες ή παπούτσια
Μετατρέποντας τους χάρτες σημασιολογικών ετικετών σε ρεαλιστικές σκηνές δρόμου για σχεδιασμό και προσομοίωση
Χρωματισμός ασπρόμαυρων φωτογραφιών αυτόματα
Μετάφραση πλακιδίων εναέριων χαρτών σε δορυφορικές εικόνες και πίσω
Το μέλλον της μετάφρασης εικόνας σε εικόνα Pix2Pix
Το Pix2Pix απέδειξε ότι μια αρχιτεκτονική θα μπορούσε να χειριστεί πολλά προβλήματα μετάφρασης και αυτή η ιδέα διαρκεί. Η σειρά διατρέχει τη μη ζευγαρωμένη μάθηση του CycleGAN, τους διαδόχους υψηλότερης ανάλυσης όπως το pix2pixHD, και το σημερινό σύστημα που βασίζεται στη διάχυση και το ControlNet προσεγγίζει αυτήν την κατάσταση σε χάρτες ακμών, βάθους ή τμηματοποίησης. Καθώς τα μοντέλα αποκτούν ισχυρότερη προτεραιότητα, οι απαιτήσεις σε ζεύγη δεδομένων χαλαρώνουν και οι μεταφράσεις γίνονται πιο πιστές και πιο ελεγχόμενες, αλλά το Pix2Pix παραμένει μια σαφής, ελαφριά γραμμή βάσης για ζευγαρωμένες εργασίες.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
- Δημιουργήστε επιλογές. Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
- Ομάδα και ροή εργασίας. Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Προσέξτε
- Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
- Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
- Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Επόμενα βήματα
- Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
- Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
- Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
- Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Pix2Pix Image-to-Image Translation quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Pix2Pix Image-to-Image Translation?
Το Pix2Pix είναι ένα υπό όρους GAN που μαθαίνει να μεταφράζει έναν τύπο εικόνας σε άλλο, όπως να μετατρέπει ένα σκίτσο σε φωτογραφία ή έναν χάρτη σε δορυφορική προβολή. Καθιέρωσε μια γενική συνταγή για εργασίες μετάφρασης ζεύξης εικόνας σε εικόνα.
Τι είδους δεδομένα εκπαίδευσης απαιτεί το Pix2Pix;
Το Pix2Pix χρειάζεται αντιστοιχισμένα ζεύγη (π.χ. ένα σκίτσο και η αντίστοιχη φωτογραφία του), γι' αυτό το CycleGAN δημιουργήθηκε αργότερα για μη συζευγμένα δεδομένα.
Ποια αρχιτεκτονική γεννήτριας χρησιμοποιεί το Pix2Pix;
Το Pix2Pix χρησιμοποιεί έναν κωδικοποιητή-αποκωδικοποιητή U-Net του οποίου οι συνδέσεις παράβλεψης περνούν λεπτομέρειες χαμηλού επιπέδου απευθείας από την είσοδο στην έξοδο.
Τι αξιολογεί το εργαλείο διάκρισης PatchGAN στο Pix2Pix;
Το PatchGAN κρίνει τον ρεαλισμό patch-patch, το οποίο ενθαρρύνει πιο ευκρινείς, πιο τοπικά συνεπείς υφές.
Γιατί το Pix2Pix προσθέτει μια απώλεια L1 μαζί με την αντίθετη απώλεια;
The paired L1 term anchors pixelwise or low-frequency correctness; the PatchGAN adversarial objective encourages realistic high-frequency texture.
Γιατί οι συνδέσεις παράλειψης U-Net είναι ιδιαίτερα χρήσιμες για εργασίες μετάφρασης;
Η είσοδος και η έξοδος συχνά μοιράζονται τη διάταξη και τις άκρες, επομένως οι παραλείψεις συνδέσεων μεταφέρουν αυτή τη λεπτομέρεια αντί να την πιέζουν μέσα από ένα σημείο συμφόρησης.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα