InstructPix2Pix Επεξεργασία Οδηγιών
Το InstructPix2Pix σάς επιτρέπει να επεξεργάζεστε μια φωτογραφία πληκτρολογώντας μια απλή εντολή όπως "κάντε το χειμώνα" ή "μετατρέψτε τη γάτα σε σκύλο", χωρίς να απαιτούνται μάσκες ή εργαλεία επιλογής.
Επισκόπηση
It taught a diffusion model to follow editing instructions directly.
Βαθιά κατάδυση
Το InstructPix2Pix (Brooks et al., 2023) είναι ένα μοντέλο διάχυσης προσαρμοσμένο ώστε να λαμβάνει μια εικόνα εισόδου συν μια οδηγία κειμένου και να εξάγει την επεξεργασμένη εικόνα με ένα μόνο πέρασμα προς τα εμπρός. Το έξυπνο κόλπο του είναι τα δεδομένα εκπαίδευσης: οι συγγραφείς χρησιμοποίησαν το GPT-3 για να δημιουργήσουν ζεύγη υποτίτλων πριν και μετά και στη συνέχεια χρησιμοποίησαν το Prompt-to-Prompt με σταθερή διάχυση για να συνθέσουν τα ζευγάρια εικόνας πριν/μετά. Αυτό τους έδωσε ένα μεγάλο σύνολο δεδομένων (πρωτότυπη εικόνα, οδηγίες, επεξεργασμένη εικόνα) τριπλών για εκπαίδευση, όλα χωρίς χειροκίνητη σήμανση. Επειδή οι οδηγίες περιγράφουν μια αλλαγή και όχι μια πλήρη σκηνή, το μοντέλο διατηρεί μη αναφερόμενα μέρη της εικόνας. Χρησιμοποιεί δύο κλίμακες καθοδήγησης, μία για το πόσο πιστά ακολουθεί τις οδηγίες και μία για το πόσο πιστά κολλάει στην αρχική εικόνα, επιτρέποντας στους χρήστες να ανταλλάξουν τη δύναμη επεξεργασίας με την πιστότητα.
Τεχνική διορατικότητα
Το μοντέλο προϋποθέτει τόσο την εικόνα πηγής όσο και την οδηγία, εφαρμόζοντας καθοδήγηση χωρίς ταξινομητή κατά μήκος δύο αξόνων. Η μία ζυγαριά σταθμίζει την εντολή κειμένου, η άλλη ζυγίζει την εικόνα εισόδου. Η αύξηση της κλίμακας της εικόνας διατηρεί περισσότερο το πρωτότυπο ανέπαφο, ενώ η αύξηση της κλίμακας του κειμένου κάνει την επεξεργασία πιο επιθετική. Αυτή η διπλή καθοδήγηση είναι που επιτρέπει σε μια γενική οδηγία να αλλάζει αξιόπιστα μια πτυχή ενώ αφήνει αναγνωρίσιμη την υπόλοιπη φωτογραφία.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον της Επεξεργασίας Οδηγιών InstructPix2Pix
Η επεξεργασία που βασίζεται σε οδηγίες γίνεται η προεπιλεγμένη διεπαφή για εργαλεία εικόνας, η οποία χρησιμοποιείται πλέον σε κύριες εφαρμογές και διαδόχους όπως το MagicBrush και οι αναδυόμενοι επεξεργαστές πολλαπλών στροφών. Περιμένετε καλύτερη διατήρηση της λεπτομέρειας, αξιόπιστο χειρισμό χωρικών οδηγιών όπως «μετακινήστε τη λάμπα αριστερά» και απρόσκοπτη επέκταση στο βίντεο, όπου μια εντολή επεξεργάζεται ένα ολόκληρο κλιπ. Η σύζευξη αυτών των μοντέλων με γλωσσικούς παράγοντες θα μπορούσε να σας επιτρέψει να περιγράψετε μια πλήρη συνεδρία επεξεργασίας συνομιλητικά.
Υλοποίηση σε πραγματικό κόσμο
Ένας blogger πληκτρολογεί «προσθέστε φύλλωμα φθινοπώρου» για να επαναλάβει μια φωτογραφία καλοκαιρινού τοπίου για μια εποχιακή ανάρτηση.
Ένας πωλητής ηλεκτρονικού εμπορίου δίνει οδηγίες «αλλάξτε το χρώμα του πουκάμισου σε ναυτικό» για να δημιουργήσετε παραλλαγές χρώματος προϊόντος από μία λήψη.
Ένας δάσκαλος επεξεργάζεται μια ιστορική φωτογραφία με το «χρωματίστε αυτό» για να κάνει μια ασπρόμαυρη εικόνα αρχείου ζωντανή για ένα μάθημα.
Ένας δημιουργός meme δίνει εντολή «βάλε γυαλιά ηλίου στον σκύλο» χωρίς να καλύψει το πρόσωπο του σκύλου με το χέρι.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
DragGAN Διαδραστική Επεξεργασία
Συχνές ερωτήσεις
What is InstructPix2Pix Instruction Editing?
Το InstructPix2Pix σάς επιτρέπει να επεξεργάζεστε μια φωτογραφία πληκτρολογώντας μια απλή εντολή όπως "κάντε το χειμώνα" ή "μετατρέψτε τη γάτα σε σκύλο", χωρίς να απαιτούνται μάσκες ή εργαλεία επιλογής. Δίδαξε ένα μοντέλο διάχυσης να ακολουθεί απευθείας τις οδηγίες επεξεργασίας.
Πώς λέτε στο InstructPix2Pix τι να αλλάξει;
Απλώς πληκτρολογείτε μια οδηγία όπως "κάντε το χειμώνα". δεν χρειάζονται μάσκες ή επιλογή περιοχής.
Πώς δημιουργήθηκαν τα δεδομένα εκπαίδευσης του InstructPix2Pix;
Οι συγγραφείς συνδύασαν ζεύγη υποτίτλων που δημιουργήθηκαν από το GPT-3 με σύνθεση εικόνας Prompt-to-Prompt για να δημιουργήσουν αυτόματα τριάδες.
Τι ελέγχουν οι δύο κλίμακες καθοδήγησης του InstructPix2Pix;
Μία κλίμακα καθορίζει πόσο αυστηρά η επεξεργασία ακολουθεί την οδηγία. το άλλο καθορίζει πόσο διατηρείται η εικόνα της πηγής.
Γιατί το μοντέλο τείνει να αφήνει μόνα μέρη της εικόνας που δεν αναφέρονται;
Μια εντολή στοχεύει μια συγκεκριμένη αλλαγή, επομένως το μοντέλο διατηρεί περιοχές που δεν αναφέρει η οδηγία.
Πόσα περάσματα προς τα εμπρός χρειάζεται το InstructPix2Pix για να δημιουργήσει μια επεξεργασία;
Είναι ένα ενιαίο μοντέλο διάχυσης υπό όρους που παίρνει την εικόνα και την οδηγία μαζί και εξάγει την επεξεργασία.