Παραγωγικά μοντέλα με βάση τη βαθμολογία
Τα μοντέλα παραγωγής που βασίζονται σε βαθμολογία δημιουργούν δεδομένα μαθαίνοντας τη διαβάθμιση της διανομής δεδομένων - την κατεύθυνση που κάνει κάθε θορυβώδες δείγμα να μοιάζει περισσότερο με πραγματικά δεδομένα.
Επισκόπηση
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Βαθιά κατάδυση
Αντί να μοντελοποιούν απευθείας την πιθανότητα, τα μοντέλα που βασίζονται σε βαθμολογία μαθαίνουν τη βαθμολογία: τη διαβάθμιση της πυκνότητας λογαριθμικής πιθανότητας σε σχέση με την είσοδο. Γνωρίζοντας με ποιον τρόπο να ωθήσετε ένα δείγμα για να αυξήσετε την πιθανότητά του αρκεί για τη δημιουργία νέων δεδομένων. Η εργασία του 2019 των Yang Song και Stefano Ermon εκπαίδευσε ένα δίκτυο για να εκτιμήσει αυτή τη βαθμολογία σε πολλά επίπεδα θορύβου χρησιμοποιώντας αντιστοίχιση βαθμολογίας αποθορβοποίησης και, στη συνέχεια, δημιούργησαν δείγματα με δυναμική Langevin — επαναλαμβανόμενα βήματα κατά μήκος της παρτιτούρας και προσθέτοντας λίγο θόρυβο. Το έγγραφο βαθμολογίας-SDE του 2021 έδειξε ότι τα μοντέλα διάχυσης και βαθμολογίας είναι δύο όψεις της ίδιας συνεχούς διαδικασίας που περιγράφονται από μια στοχαστική διαφορική εξίσωση. Είναι κρίσιμο, κάθε SDE έχει μια αντίστοιχη ντετερμινιστική «ροή πιθανότητας» ODE που μοιράζεται τα ίδια περιθώρια, επιτρέποντας ακριβείς πιθανότητες και γρήγορη δειγματοληψία.
Τεχνική διορατικότητα
Η άμεση εκτίμηση της βαθμολογίας καθαρών δεδομένων είναι δύσκολη όταν τα δεδομένα είναι αραιά, επομένως το μοντέλο εκπαιδεύεται σε δεδομένα που διαταράσσονται από τον Gaussian θόρυβο σε πολλαπλές κλίμακες. Η αντιστοίχιση βαθμολογίας απόσβεσης θορύβου δίνει έναν στόχο που μπορεί να υποστηριχθεί: η βαθμολογία της κατανομής με θόρυβο ισούται με την κατεύθυνση του θορύβου διαιρεμένη με τη διακύμανση του θορύβου, επομένως η πρόβλεψη του θορύβου και η πρόβλεψη της βαθμολογίας είναι ουσιαστικά το ίδιο πράγμα. Η δειγματοληψία επιλύει το SDE αντίστροφου χρόνου (ή το ισοδύναμο ODE πιθανότητας ροής) ξεκινώντας από τον καθαρό Gaussian θόρυβο.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
Δημιουργήστε επιλογές
Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
Ομάδα και ροή εργασίας
Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Το μέλλον των παραγωγικών μοντέλων που βασίζονται σε βαθμολογία
Το πλαίσιο βαθμολογίας-SDE είναι η θεωρητική μηχανή πίσω από μεγάλο μέρος της προόδου της γενετικής τεχνητής νοημοσύνης. Οι ταχύτεροι αριθμητικοί λύτες, τα καλύτερα χρονοδιαγράμματα θορύβου και το ODE ροής πιθανότητας επιτρέπουν τη δημιουργία σχεδόν σε πραγματικό χρόνο και την ακριβή αξιολόγηση πιθανοτήτων. Η ίδια ιδέα αντιστοίχισης βαθμολογίας εξαπλώνεται πέρα από τις εικόνες στον σχεδιασμό ήχου, μοριακής και πρωτεϊνικής δομής, σύννεφα σημείων και επιστημονική προσομοίωση, ενώ τα μοντέλα συνέπειας και αντιστοίχισης ροής βασίζονται απευθείας σε αυτά τα θεμέλια συνεχούς χρόνου για να συρρικνώσουν την παραγωγή σε μια χούφτα βήματα.
Υλοποίηση σε πραγματικό κόσμο
Τα δίκτυα βαθμολογίας θορύβου υπό όρους (NCSN) δημιουργούν φωτορεαλιστικές όψεις ακολουθώντας τις βαθμίδες βαθμολογίας που έχουν μάθει μέσω της δυναμικής Langevin.
Ανακατασκευή ιατρικών εικόνων, όπως η επιταχυνόμενη μαγνητική τομογραφία, όπου η μαθησιακή βαθμολογία ενεργεί ως προηγούμενη συμπλήρωση δεδομένων σάρωσης υποδειγματοληψίας.
Δημιουργία μοριακής και πρωτεϊνικής δομής στην ανακάλυψη φαρμάκων, μοντελοποίηση τρισδιάστατων ατομικών διαμορφώσεων με διάχυση βάσει βαθμολογίας.
Σύνθεση κυματομορφής ήχου όπου τα μοντέλα παρτιτούρας απορρίπτονται προς καθαρή ομιλία ή μουσική, όπως στους φωνοκωδικοποιητές που βασίζονται στη διάχυση.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Οδικός Χάρτης Εφαρμογής
Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Μοντέλα με βάση την ενέργεια
Συχνές ερωτήσεις
What is Score-Based Generative Models?
Τα μοντέλα παραγωγής που βασίζονται σε βαθμολογία δημιουργούν δεδομένα μαθαίνοντας τη διαβάθμιση της διανομής δεδομένων - την κατεύθυνση που κάνει κάθε θορυβώδες δείγμα να μοιάζει περισσότερο με πραγματικά δεδομένα. Αυτή η προβολή βαθμολογίας-συνάρτησης ενοποιεί μοντέλα διάχυσης με στοχαστικές διαφορικές εξισώσεις και στηρίζει πολλές σύγχρονες γεννήτριες εικόνας.
Ποιο είναι ακριβώς το 'score' που μαθαίνουν αυτά τα μοντέλα;
Η βαθμολογία είναι η κλίση της πυκνότητας των δεδομένων καταγραφής σε σχέση με την είσοδο — δείχνει προς την κατεύθυνση που αυξάνει την πιθανότητα ενός δείγματος.
Γιατί τα μοντέλα που βασίζονται σε βαθμολογία που έχουν εκπαιδευτεί σε δεδομένα αλλοιώνονται με θόρυβο σε πολλαπλές κλίμακες;
Σε περιοχές χαμηλής πυκνότητας, η πραγματική βαθμολογία είναι ανεπαρκώς καθορισμένη. Τα ενοχλητικά δεδομένα με πολλά επίπεδα θορύβου κάνουν την αντιστοίχιση βαθμολογίας να προσεγγίζεται παντού.
Ποια διαδικασία δειγματοληψίας χρησιμοποίησαν τα πρώιμα μοντέλα με βάση τη βαθμολογία για τη δημιουργία δεδομένων;
Το Langevin dynamics μετακινεί επανειλημμένα ένα δείγμα προς την κατεύθυνση της βαθμολογίας και εγχέει μικρό θόρυβο, μετατρέποντας σταδιακά τον τυχαίο θόρυβο σε ρεαλιστικά δεδομένα.
Ποια σημαντική σύνδεση δημιούργησε το έγγραφο βαθμολογίας 2021-SDE;
Song et al. Μοντέλα ενοποιημένης διάχυσης και βαθμολογίας κάτω από ένα πλαίσιο στοχαστικής διαφορικής εξίσωσης, με ταιριαστό ντετερμινιστικό ODE ροής πιθανότητας.
Πώς σχετίζεται η πρόβλεψη του θορύβου με την πρόβλεψη της βαθμολογίας στην αντιστοίχιση βαθμολογίας απόσβεσης θορύβου;
Η αντιστοίχιση βαθμολογίας κατάργησης θορύβου δείχνει ότι η βαθμολογία ισούται με τον αρνητικό θόρυβο διαιρεμένο με τη διακύμανση του θορύβου, καθιστώντας την πρόβλεψη θορύβου και την πρόβλεψη βαθμολογίας ουσιαστικά τον ίδιο στόχο.