Custom Diffusion Multi-Concept Tuning
Το Custom Diffusion είναι μια ελαφριά μέθοδος μικρορύθμισης που διδάσκει σε ένα μοντέλο κειμένου σε εικόνα νέες προσωπικές έννοιες, όπως ο σκύλος σας ή μια συγκεκριμένη καρέκλα, από λίγες μόνο φωτογραφίες.
Επισκόπηση
Its standout feature is composing several newly learned concepts together in one generated scene.
Βαθιά κατάδυση
Το Custom Diffusion, το οποίο κυκλοφόρησε από ερευνητές της Adobe και της CMU το 2022, εξατομικεύει μοντέλα όπως το Stable Diffusion χωρίς να επανεκπαιδεύσει ολόκληρο το δίκτυο. Αντί να ενημερώνει κάθε βάρος, ανακάλυψε ότι η ενημέρωση μόνο ενός μικρού κομματιού, των πινάκων προβολής κλειδιού και τιμής στα επίπεδα διασταυρούμενης προσοχής, είναι αρκετή για να απορροφήσει μια νέα ιδέα από περίπου 4 έως 20 εικόνες. Αυτό συνεχίζει να συντονίζεται γρήγορα (λεπτά) και η αποθήκευση είναι μικρή (megabyte αντί γιγαμπάιτ). Κυρίως, μπορεί να μάθει πολλές έννοιες ταυτόχρονα μέσω της κοινής εκπαίδευσης ή με τη συγχώνευση ξεχωριστά εκπαιδευμένων εννοιών χρησιμοποιώντας μια περιορισμένη βελτιστοποίηση. Αυτό σας επιτρέπει να ζητήσετε, για παράδειγμα, τη συγκεκριμένη γάτα σας να κάθεται στη συγκεκριμένη καρέκλα σχεδιαστή σας, κάτι που οι μέθοδοι μιας ιδέας δυσκολεύονται να συνδυάσουν.
Τεχνική διορατικότητα
Η διασταυρούμενη προσοχή είναι όπου η προτροπή κειμένου επηρεάζει την εικόνα. τα διακριτικά κειμένου σχηματίζουν ερωτήματα που παρακολουθούν τα οπτικά χαρακτηριστικά του μοντέλου διάχυσης μέσω πινάκων κλειδιών και τιμών. Το Custom Diffusion παγώνει το μεγαλύτερο μέρος του U-Net και συντονίζει μόνο αυτές τις προβολές K και V, τα μέρη που είναι πιο υπεύθυνα για τη σύνδεση των λέξεων με την εμφάνιση. Χρησιμοποιεί επίσης ένα σύνολο τακτοποίησης πραγματικών εικόνων που μοιράζονται την κατηγορία της έννοιας για να αποτρέψει το μοντέλο να υπερπροσαρμόσει και να ξεχάσει το ευρύτερο νόημα της λέξης.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον της προσαρμοσμένης διάχυσης Multi-Concept Tuning
Η εξατομίκευση πολλαπλών εννοιών συγκλίνει με οικοσυστήματα προσαρμογέων όπως το LoRA, όπου πολλές μικρές ενότητες έννοιας μπορούν να αναμειχθούν σε χρόνο συμπερασμάτων. Τα μελλοντικά συστήματα στοχεύουν να συνθέσουν δεκάδες προσαρμοσμένες έννοιες καθαρά χωρίς αιμορραγία χαρακτηριστικών (το χρώμα της γάτας διαρρέει στην καρέκλα) και να κάνουν συντονισμό σε δευτερόλεπτα ή ακόμα και μόνο με κωδικοποιητή, χωρίς βελτιστοποίηση. Αναμένετε ότι αυτό θα στηρίξει τη δημιουργία περιουσιακών στοιχείων με συνέπεια στην επωνυμία, τα προσωπικά avatar και την προσαρμογή στη συσκευή.
Υλοποίηση σε πραγματικό κόσμο
Διδάσκοντας στο μοντέλο το συγκεκριμένο κατοικίδιο ζώο σας από μια χούφτα φωτογραφίες και, στη συνέχεια, δημιουργήστε το σε νέες πόζες, κοστούμια και ρυθμίσεις
Μαθαίνοντας το προϊόν μιας μάρκας (ένα αθλητικό παπούτσια ή ένα μπουκάλι) και μια μασκότ επωνυμίας, και στη συνέχεια συνθέτοντας και τα δύο σε μια εικόνα μάρκετινγκ
Αποτύπωση ενός προσωπικού αντικειμένου τέχνης συν την ομοιότητα ενός μέλους της οικογένειας και τοποθέτησή τους μαζί σε επινοημένες σκηνές
Συνδυάζοντας ένα προσαρμοσμένο έπιπλο με ένα προσαρμοσμένο στυλ δωματίου για να μιμηθεί τις ιδέες εσωτερικού σχεδιασμού
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Custom Diffusion Multi-Concept Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Πολιτική διάχυσης για έλεγχο ρομπότ
Συχνές ερωτήσεις
What is Custom Diffusion Multi-Concept Tuning?
Το Custom Diffusion είναι μια ελαφριά μέθοδος μικρορύθμισης που διδάσκει σε ένα μοντέλο κειμένου σε εικόνα νέες προσωπικές έννοιες, όπως ο σκύλος σας ή μια συγκεκριμένη καρέκλα, από λίγες μόνο φωτογραφίες. Το χαρακτηριστικό γνώρισμά του είναι η σύνθεση πολλών νέων εννοιών μαζί σε μια παραγόμενη σκηνή.
Ποιο τμήμα του μοντέλου διάχυσης βελτιώνει κυρίως το Custom Diffusion;
Ενημερώνει μόνο τους πίνακες διασταυρούμενης προσοχής K και V, οι οποίοι συνδέουν τις λέξεις με την εμφάνιση, διατηρώντας τον γρήγορο συντονισμό και το αποθηκευμένο αρχείο μικρό.
Τι είναι πιο αξιοσημείωτο το Custom Diffusion σε σύγκριση με τις μεθόδους single-concept;
Η χαρακτηριστική του ικανότητα είναι δημιουργία πολλαπλών εννοιών, συνδυάζοντας πολλά εξατομικευμένα θέματα μαζί.
Πόσα παραδείγματα εικόνων χρειάζεται περίπου το Custom Diffusion για να μάθει μια έννοια;
Μαθαίνει από μια μικρή χούφτα εικόνων, κάνοντας την εξατομίκευση πρακτική για τους καθημερινούς χρήστες.
Γιατί το Custom Diffusion χρησιμοποιεί ένα σύνολο εικόνων τακτοποίησης από την ευρύτερη κατηγορία της έννοιας;
Οι εικόνες κανονικοποίησης διατηρούν ανέπαφη τη γενική σημασία της λέξης της κατηγορίας, ώστε το μοντέλο να μην καταρρέει μόνο στη νέα ιδέα.
Πώς μπορούν δύο ξεχωριστά εκπαιδευμένες έννοιες Custom Diffusion να χρησιμοποιηθούν μαζί;
Οι ανεξάρτητες έννοιες μπορούν να συγχωνευθούν μέσω μιας περιορισμένης βελτιστοποίησης κλειστής μορφής, επιτρέποντας κοινές προτροπές.