Μοντέλα με βάση την ενέργεια
Τα μοντέλα που βασίζονται στην ενέργεια (EBM) μαθαίνουν μια βαθμωτή συνάρτηση «ενέργειας» που εκχωρεί χαμηλές τιμές σε αληθοφανή δεδομένα και υψηλές τιμές σε μη αληθοφανή δεδομένα, ορίζοντας μια κατανομή πιθανότητας χωρίς να αναγκάζει να είναι εύκολη η κανονικοποίησή της.
Επισκόπηση
This flexibility makes them a unifying lens for much of machine learning, from classifiers to generative models.
Βαθιά κατάδυση
Ένα μοντέλο που βασίζεται στην ενέργεια ορίζει μια πιθανότητα μέσω της κατανομής Boltzmann (Gibbs): το p(x) είναι ανάλογο με το exp(-E(x)), όπου το E(x) είναι μια μαθημένη ενεργειακή συνάρτηση, συχνά ένα νευρωνικό δίκτυο. Η προπόνηση σπρώχνει προς τα κάτω την ενέργεια των πραγματικών δεδομένων και ωθεί την ενέργεια όλων των άλλων. Το catch είναι η συνάρτηση διαμερίσματος Z, το άθροισμα ή το ολοκλήρωμα του exp(-E(x)) σε όλες τις πιθανές εισόδους, το οποίο είναι συνήθως δύσκολο να υπολογιστεί. Έτσι, τα EBM εκπαιδεύονται με προσεγγίσεις: απόκλιση αντίθεσης, αντιστοίχιση βαθμολογίας ή εκτίμηση αντίθεσης θορύβου και δειγματοληψία μέσω μεθόδων MCMC όπως η δυναμική Langevin που ακολουθούν την ενεργειακή κλίση. Κλασικά παραδείγματα περιλαμβάνουν τα δίκτυα Hopfield και τις Περιορισμένες Μηχανές Boltzmann. Η σύγχρονη εργασία συνδέει τα EBM με μοντέλα διάχυσης, GAN, ακόμη και συνηθισμένους ταξινομητές που ερμηνεύονται εκ νέου ως ενεργειακές συναρτήσεις.
Τεχνική διορατικότητα
Το μοντέλο εκχωρεί πιθανότητα p(x) = exp(-E(x)) / Z. Επειδή το Z (ο κανονικοποιητής σε όλες τις εισόδους) είναι δυσεπίλυτο, σπάνια υπολογίζετε απευθείας την πιθανότητα. Αντίθετα, η αντιστοίχιση βαθμολογίας και η δειγματοληψία Langevin εκμεταλλεύονται ότι η διαβάθμιση του log p(x) ισούται με -gradient του E(x), οπότε το Z πέφτει έξω. Η δυναμική Langevin δημιουργεί στη συνέχεια δείγματα σπρώχνοντας επανειλημμένα x κατηφόρα σε ενέργεια και προσθέτοντας θόρυβο, περπατώντας προς περιοχές χαμηλής ενέργειας και υψηλής πιθανότητας.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον των μοντέλων που βασίζονται στην ενέργεια
Τα EBM απολαμβάνουν ανανεωμένο ενδιαφέρον επειδή παρέχουν μια θεωρητική γέφυρα μεταξύ των μοντέλων διάχυσης, των μοντέλων παραγωγής που βασίζονται σε βαθμολογία και των δικτύων διακρίσεων, η βαθμολογία που μαθαίνει ένα μοντέλο διάχυσης είναι ουσιαστικά μια ενεργειακή κλίση. Αναμένετε περισσότερα υβριδικά συστήματα που χρησιμοποιούν ενεργειακές συναρτήσεις για ευέλικτους, συνθετικούς περιορισμούς (συνδυάζοντας πολλαπλές ενέργειες για την παραγωγή διεύθυνσης), καλύτερη και ταχύτερη δειγματοληψία από το MCMC και εφαρμογές στη λογική και τον προγραμματισμό όπου η «εύρεση της διαμόρφωσης χαμηλότερης ενέργειας» εκφράζει φυσικά τη βελτιστοποίηση και την ικανοποίηση των περιορισμών.
Υλοποίηση σε πραγματικό κόσμο
Δίκτυα Hopfield που λειτουργούν ως συσχετιστική μνήμη που ανακαλούν ένα αποθηκευμένο μοτίβο από μια θορυβώδη ή μερική είσοδο με την καθίζηση σε μια κατάσταση χαμηλής ενέργειας
Περιορισμένες μηχανές Boltzmann που χρησιμοποιούνται ιστορικά για συνεργατικό φιλτράρισμα και προεκπαίδευση δικτύων βαθιάς πεποίθησης
Επανερμηνεία ενός τυπικού ταξινομητή ως μοντέλου που βασίζεται στην ενέργεια (η προσέγγιση JEM) για τη βελτίωση της βαθμονόμησης, της ευρωστίας και της ανίχνευσης εκτός διανομής
Δομημένη πρόβλεψη και ικανοποίηση περιορισμών, όπου βρίσκονται λύσεις με την ελαχιστοποίηση της μαθημένης ενέργειας σε πολλές αλληλεπιδρώντες μεταβλητές (π.χ. εκτίμηση πόζας ή διάταξη)
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Energy-Based Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Παραγωγικά μοντέλα με βάση τη βαθμολογία
Συχνές ερωτήσεις
What is Energy-Based Models?
Τα μοντέλα που βασίζονται στην ενέργεια (EBM) μαθαίνουν μια βαθμωτή συνάρτηση «ενέργειας» που εκχωρεί χαμηλές τιμές σε αληθοφανή δεδομένα και υψηλές τιμές σε μη αληθοφανή δεδομένα, ορίζοντας μια κατανομή πιθανότητας χωρίς να αναγκάζει να είναι εύκολη η κανονικοποίησή της. Αυτή η ευελιξία τα καθιστά ενοποιητικό φακό για μεγάλο μέρος της μηχανικής μάθησης, από ταξινομητές έως μοντέλα παραγωγής.
Σε ένα μοντέλο που βασίζεται στην ενέργεια, πώς σχετίζεται η ενέργεια με την πιθανότητα ενός σημείου δεδομένων;
Μέσω της κατανομής Boltzmann, το p(x) είναι ανάλογο με το exp(-E(x)), επομένως τα εύλογα δεδομένα έχουν χαμηλή ενέργεια και υψηλή πιθανότητα.
Τι δυσκολεύει τα μοντέλα εκπαίδευσης που βασίζονται στην ενέργεια;
Ο υπολογισμός Z απαιτεί άθροιση ή ενσωμάτωση exp(-E(x)) σε ολόκληρο τον χώρο εισόδου, κάτι που είναι γενικά ανέφικτο, επιβάλλοντας κατά προσέγγιση μεθόδους εκπαίδευσης.
Ποια μέθοδος δειγματοληψίας χρησιμοποιείται συνήθως για τη λήψη δειγμάτων από ένα EBM;
Η δυναμική Langevin μετακινεί επαναληπτικά τα δείγματα προς τα κάτω κατά μήκος της ενεργειακής κλίσης ενώ προσθέτει θόρυβο, συγκλίνοντας προς περιοχές χαμηλής ενέργειας.
Γιατί μέθοδοι όπως η αντιστοίχιση βαθμολογίας μπορούν να αποφύγουν τον υπολογισμό της συνάρτησης διαμερίσματος Z;
Δεδομένου ότι το Z δεν εξαρτάται από το x, η διαφοροποίηση του log p(x) σε σχέση με το x το ακυρώνει, αφήνοντας μόνο την ενεργειακή κλίση, η οποία είναι εφικτή.
Ποιο από αυτά είναι ένα κλασικό μοντέλο που βασίζεται στην ενέργεια;
Τα δίκτυα Hopfield είναι ένα πρώιμο μοντέλο που βασίζεται στην ενέργεια που αποθηκεύει μοτίβα ως καταστάσεις χαμηλής ενέργειας και τα ανακαλεί ελαχιστοποιώντας την ενέργεια.