Επεξεργασία διασταυρούμενης προσοχής από προτροπή σε προτροπή
Το Prompt-to-Prompt επεξεργάζεται μια εικόνα που δημιουργείται, τροποποιώντας την προτροπή κειμένου της ενώ επαναχρησιμοποιεί τους εσωτερικούς χάρτες προσοχής του μοντέλου, έτσι η αλλαγή μιας λέξης αλλάζει αυτό το στοιχείο, ενώ διατηρείται ανέπαφο το υπόλοιπο σκηνικό.
Επισκόπηση
It is editing through words, not pixels.
Βαθιά κατάδυση
Το Prompt-to-Prompt (Hertz et al., 2022) είναι μια τεχνική χωρίς εκπαίδευση για επεξεργασία βάσει κειμένου σε μοντέλα διάχυσης. Η βασική ιδέα είναι ότι οι χάρτες διασταυρούμενης προσοχής, οι οποίοι λένε στο μοντέλο ποιες περιοχές εικόνας πρέπει να επηρεάσει κάθε λέξη, κωδικοποιούν τη χωρική διάταξη της σκηνής. Όταν αναδημιουργείτε μια εικόνα με μια ελαφρώς τροποποιημένη προτροπή, η μέθοδος εισάγει τους χάρτες προσοχής της αρχικής προτροπής στη νέα εκτέλεση. Αντικαθιστώντας μια λέξη, πείτε «ποδήλατο» με «μοτοσικλέτα», αλλάζει αυτό το αντικείμενο διατηρώντας τη σύνθεση και το φόντο. Η προσθήκη μιας λέξης προσελκύει την προσοχή μόνο για τα αμετάβλητα διακριτικά, επομένως εμφανίζεται ένα νέο χαρακτηριστικό χωρίς να ανακατασκευάζονται τα πάντα. Μπορείτε επίσης να σταθμίσετε εκ νέου την προσοχή ενός κουπονιού για να ενισχύσετε ή να αποδυναμώσετε την επίδρασή του. Επειδή δεν απαιτεί λεπτομέρεια ή μάσκες, έγινε θεμελιώδες δομικό στοιχείο για πολλές μεταγενέστερες μεθόδους επεξεργασίας, συμπεριλαμβανομένης της δημιουργίας δεδομένων του InstructPix2Pix.
Τεχνική διορατικότητα
Κατά τη διάρκεια της αποθορυβοποίησης, η διασταυρούμενη προσοχή υπολογίζει, για κάθε διακριτικό, έναν χωρικό χάρτη του σημείου που παρακολουθεί στην εικόνα. Το Prompt-to-Prompt αντιγράφει αυτούς τους χάρτες από την αρχική γενιά στην επεξεργασμένη για κοινόχρηστα διακριτικά. Για ανταλλαγές λέξεων, χαρτογραφεί την προσοχή μεταξύ των αντίστοιχων διακριτικών. Για πρόσθετες λέξεις, διατηρεί τους παλιούς χάρτες και αφήνει μόνο τα νέα διακριτικά να σχηματίσουν νέα προσοχή. Η επαναστάθμιση απλώς κλιμακώνει τις τιμές προσοχής ενός συμβολικού, εντείνοντας ή μειώνοντας την οπτική του επιρροή.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
The Future of Prompt-to-Prompt Cross-Attention Editing
Ο χειρισμός πολλαπλής προσοχής στηρίζει τώρα μια ολόκληρη οικογένεια εργαλείων ελεγχόμενης παραγωγής και οι ιδέες επεκτείνονται στον έλεγχο της προσοχής σε νεότερες αρχιτεκτονικές και στη διάχυση βίντεο για χρονικά συνεπείς επεξεργασίες. Αναμένετε στενότερη ενσωμάτωση με την επεξεργασία πραγματικής εικόνας μέσω αναστροφής, πιο στιβαρό χειρισμό μεγάλων δομικών αλλαγών και συνδυασμό με μοντέλα οδηγιών, ώστε τα κόλπα προσοχής να λειτουργούν αόρατα κάτω από μια απλή διεπαφή φυσικής γλώσσας.
Υλοποίηση σε πραγματικό κόσμο
Ένας σχεδιαστής αλλάζει «ένα κόκκινο αυτοκίνητο σε δρόμο» σε «μπλε αυτοκίνητο σε δρόμο» και διατηρεί την ίδια ακριβώς διάταξη της σκηνής.
Ένας εικονογράφος επανασταθμίζει τη λέξη «χιονισμένο» για να κάνει ένα τοπίο σταδιακά πιο χειμωνιάτικο σε όλες τις παραλλαγές.
Ένας αφηγητής ανταλλάσσει το «λιοντάρι» με τον «τίγρη» σε μια προτροπή για να κρατήσει μια ίδια πόζα και φόντο για ένα φύλλο χαρακτήρων.
Ένας ερευνητής το χρησιμοποιεί για να δημιουργήσει ζευγαρωμένες εικόνες πριν/μετά ως δεδομένα εκπαίδευσης για έναν επεξεργαστή που ακολουθεί τις οδηγίες.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt-to-Prompt Cross-Attention Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Διασταυρούμενη Προσοχή
Συχνές ερωτήσεις
What is Prompt-to-Prompt Cross-Attention Editing?
Το Prompt-to-Prompt επεξεργάζεται μια εικόνα που δημιουργείται, τροποποιώντας την προτροπή κειμένου της ενώ επαναχρησιμοποιεί τους εσωτερικούς χάρτες προσοχής του μοντέλου, έτσι η αλλαγή μιας λέξης αλλάζει αυτό το στοιχείο, ενώ διατηρείται ανέπαφο το υπόλοιπο σκηνικό. Είναι επεξεργασία μέσω λέξεων, όχι pixels.
Ποιες εσωτερικές πληροφορίες επαναχρησιμοποιεί το Prompt-to-Prompt για τη διατήρηση μιας σκηνής;
Οι χάρτες διασταυρούμενης προσοχής κωδικοποιούν τα σημεία που κάθε λέξη επηρεάζει την εικόνα, επομένως η επαναχρησιμοποίησή τους διατηρεί τη διάταξη συνεπή κατά τις επεξεργασίες.
Το Prompt-to-Prompt απαιτεί λεπτομέρεια του μοντέλου;
Χειρίζεται την προσοχή σε χρόνο συμπερασμάτων και δεν χρειάζεται πρόσθετη εκπαίδευση.
Τι επιτυγχάνει η επαναστάθμιση της προσοχής ενός διακριτικού;
Η κλιμάκωση των τιμών προσοχής ενός διακριτικού εντείνει ή μειώνει το πόσο έντονα εμφανίζεται αυτή η έννοια.
Γιατί το Prompt-to-Prompt θεωρείται θεμελιώδης τεχνική;
Ο χειρισμός της προσοχής χωρίς εκπαίδευση έγινε δομικό στοιχείο που επαναχρησιμοποιήθηκε σε όλη την έρευνα επεξεργασίας που ακολούθησε.