Αντιστροφή μηδενικού κειμένου
Η αντιστροφή μηδενικού κειμένου είναι μια τεχνική που σας επιτρέπει να επεξεργαστείτε μια πραγματική φωτογραφία με ένα μοντέλο διάχυσης που βασίζεται σε κείμενο, όπως το Stable Diffusion, διατηρώντας παράλληλα άθικτα όλα όσα δεν ζητήσατε να αλλάξετε.
Επισκόπηση
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Βαθιά κατάδυση
Για να επεξεργαστείτε μια πραγματική εικόνα με ένα μοντέλο διάχυσης, πρέπει πρώτα να εκτελέσετε τη διαδικασία δημιουργίας προς τα πίσω για να βρείτε τον θόρυβο που θα την αναδημιουργούσε. Μια γρήγορη μέθοδος που ονομάζεται αναστροφή DDIM το κάνει αυτό αλλά παρασύρεται, οπότε η ανακατασκευή φαίνεται ελαφρώς λανθασμένη. Η καθοδήγηση χωρίς ταξινομητή, η οποία ενισχύει το πόσο έντονα τα μηνύματα κειμένου κατευθύνουν την εικόνα, ενισχύει άσχημα αυτή τη μετατόπιση. Η αντιστροφή μηδενικού κειμένου, που εισήχθη από τους ερευνητές Google το 2022, το διορθώνει αφήνοντας το μοντέλο παγωμένο και αντ' αυτού βελτιστοποιώντας την ενσωμάτωση «μηδενικού» (κενού) κειμένου που χρησιμοποιείται στην καθοδήγηση, μία ανά χρονικό βήμα αποθορύφωσης. Αυτό καρφιτσώνει την ανακατασκευή πίσω στην αρχική εικόνα, έτσι ώστε οι μεταγενέστερες επεξεργασίες, όπως η μετατροπή ενός 'σκύλου' σε 'γάτα', να αλλάζουν μόνο το περιεχόμενο που προορίζεται.
Τεχνική διορατικότητα
Η καθοδήγηση χωρίς ταξινομητή προεκτείνεται μεταξύ μιας υπό όρους πρόβλεψης (με προτροπή) και μιας άνευ όρων (με ενσωμάτωση κενού προτροπής). Η αντιστροφή μηδενικού κειμένου διατηρεί την πραγματική προτροπή και τα βάρη σταθερά, και η διαβάθμιση βελτιστοποιεί μόνο αυτή την κενή ενσωμάτωση σε κάθε ένα από τα περίπου 50 βήματα διάχυσης, έτσι ώστε η καθοδηγούμενη τροχιά να παρακολουθεί την προ-υπολογισμένη διαδρομή DDIM. Το αποτέλεσμα είναι σχεδόν τέλεια ανακατασκευή εικονοστοιχείων με πλήρη ισχύ καθοδήγησης, αφήνοντας την προτροπή ελεύθερη για ακριβείς επεξεργασίες.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον της αντιστροφής μηδενικού κειμένου
Η αντιστροφή μηδενικού κειμένου ήταν αργή επειδή βελτιστοποιεί ανά εικόνα, επομένως οι νεότερες εργασίες ωθούν προς την άμεση αντιστροφή χωρίς βελτιστοποίηση. Μέθοδοι όπως η αντιστροφή αρνητικής προτροπής, η άμεση αναστροφή και προσεγγίσεις που βασίζονται σε ταχύτερη συνέπεια και μοντέλα λίγων βημάτων στοχεύουν στην ίδια πιστότητα σε ένα μόνο πέρασμα προς τα εμπρός. Αναμένετε ότι η αντιστροφή θα γίνει ένα ήσυχο, ενσωματωμένο βήμα στα προγράμματα επεξεργασίας φωτογραφιών των καταναλωτών, επιτρέποντας αξιόπιστη επεξεργασία πραγματικής εικόνας χωρίς ο χρήστης να δει ποτέ τα μαθηματικά.
Υλοποίηση σε πραγματικό κόσμο
Επεξεργασία μιας πραγματικής φωτογραφίας διακοπών, ώστε το σταθμευμένο αυτοκίνητο να αποκτήσει διαφορετικό χρώμα, ενώ ο δρόμος, οι άνθρωποι και ο φωτισμός παραμένουν ανέγγιχτοι
Ανταλλάξτε τη ράτσα ενός πραγματικού κατοικίδιου σε ένα οικογενειακό πορτρέτο χωρίς να αλλάξετε το φόντο ή τη πόζα
Αλλαγή της εποχής μιας φωτογραφίας τοπίου (καλοκαιρινό φύλλωμα σε φθινόπωρο) επεξεργάζοντας μόνο την προτρεπόμενη λέξη
Ενίσχυση τοπικών επεξεργασιών σε στυλ "προτροπή σε προτροπή" σε εικόνες που ανεβαίνουν από χρήστες μέσα σε επιδείξεις έρευνας και εφαρμογές επεξεργασίας
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Κείμενο σε βίντεο Make-A-Video
Συχνές ερωτήσεις
What is Null-Text Inversion?
Η αντιστροφή μηδενικού κειμένου είναι μια τεχνική που σας επιτρέπει να επεξεργαστείτε μια πραγματική φωτογραφία με ένα μοντέλο διάχυσης που βασίζεται σε κείμενο, όπως το Stable Diffusion, διατηρώντας παράλληλα άθικτα όλα όσα δεν ζητήσατε να αλλάξετε. Γεφυρώνει το χάσμα μεταξύ της δημιουργίας φρέσκων εικόνων και της πιστής ανακατασκευής και επανεπεξεργασίας αυτών που ήδη έχετε.
Τι βελτιστοποιεί πραγματικά η αντιστροφή μηδενικού κειμένου;
Διατηρεί παγωμένα το μοντέλο και την πραγματική προτροπή και βελτιστοποιεί μόνο την άνευ όρων/μηδενικής ενσωμάτωσης κειμένου σε κάθε χρονικό βήμα, η οποία είναι γρήγορη και μη καταστροφική.
Γιατί η απλή αναστροφή DDIM γίνεται αναξιόπιστη όταν χρησιμοποιείται για επεξεργασία;
Η αντιστροφή DDIM συσσωρεύει μικρά σφάλματα και η ισχυρή καθοδήγηση που απαιτείται για καλές επεξεργασίες μεγεθύνει αυτήν την ολίσθηση, εξευτελιστική ανακατασκευή.
Ποιος είναι ο κύριος στόχος της αντιστροφής μιας πραγματικής εικόνας πριν την επεξεργασία της;
Η επεξεργασία χρειάζεται έναν σπόρο θορύβου και μια τροχιά που να αναδομεί το πρωτότυπο, επομένως οι άμεσες αλλαγές αλλάζουν μόνο το περιεχόμενο που θέλετε.
Πώς χειρίζεται περίπου η αντιστροφή μηδενικού κειμένου τη βελτιστοποίηση σε όλη τη διαδικασία διάχυσης;
Μια ξεχωριστή ενσωμάτωση μηδενικού κειμένου συντονίζεται ανά χρονικό βήμα, ώστε η καθοδηγούμενη διαδρομή να παρακολουθεί στενά την προυπολογισμένη τροχιά αναστροφής.
Με ποιο είδος προσέγγισης επεξεργασίας συνδυάζεται συχνότερα η αντιστροφή μηδενικού κειμένου;
Μόλις αντιστραφεί πιστά μια πραγματική εικόνα, οι μέθοδοι που βασίζονται στην προτροπή, όπως η προτροπή σε προτροπή μπορούν να κάνουν στοχευμένες, τοπικές αλλαγές.