Αντιθετική Μάθηση
Η αντιθετική μάθηση διδάσκει σε ένα μοντέλο να ενώνει παρόμοια πράγματα και να απομακρύνει ανόμοια πράγματα σε έναν χώρο ενσωμάτωσης.
Επισκόπηση
It matters because it lets AI learn powerful representations from mostly unlabeled data, powering image search, recommendations, and multimodal models.
Βαθιά κατάδυση
Αντί να προβλέπει μια ετικέτα, η αντιθετική μάθηση μαθαίνει μέσω σύγκρισης: δεδομένου ενός στοιχείου αγκύρωσης, το μοντέλο εκπαιδεύεται έτσι ώστε ένα ταιριαστό «θετικό» να προσγειώνεται κοντά του στο διανυσματικό χώρο ενώ τα μη ταιριαστά «αρνητικά» προσγειώνονται μακριά. Μια κοινή συνταγή που επιτηρείται από τον εαυτό σας (όπως το SimCLR) δημιουργεί θετικά στοιχεία λαμβάνοντας δύο τυχαίες επαυξήσεις της ίδιας εικόνας (περικοπή, χρωματική ανάμειξη, θόλωση). όλα τα άλλα στην παρτίδα είναι αρνητικά. Το μοντέλο αντιστοιχίζει τις εισόδους στα διανύσματα και μια απώλεια ανταμείβει την υψηλή ομοιότητα για το ζεύγος και τη χαμηλή ομοιότητα για τα υπόλοιπα. Αυτό παράγει ενσωματώσεις όπου η απόσταση αντικατοπτρίζει το νόημα, επομένως μια κατάντη εργασία χρειάζεται πολύ λιγότερες ετικέτες. Το CLIP εφαρμόζει την ίδια ιδέα σε όλες τις λεπτομέρειες, αντιστοιχίζοντας τις εικόνες με τους υπότιτλους τους.
Τεχνική διορατικότητα
Η απώλεια εργατικού δυναμικού είναι το InfoNCE (ένα softmax έναντι των βαθμολογιών ομοιότητας), συχνά με ομοιότητα συνημιτόνου διαιρούμενη με μια θερμοκρασία που ελέγχει πόσο ευνοούνται τα έντονα θετικά. Το σημαντικότερο είναι ότι η απόδοση βελτιώνεται με πολλά αρνητικά, έτσι οι μεγάλες παρτίδες ή μια τράπεζα μνήμης/ουρά (όπως στο MoCo) τα παρέχουν. Ορισμένες μέθοδοι όπως το BYOL και το SimSiam ρίχνουν ρητά αρνητικά και αντ' αυτού χρησιμοποιούν ένα δίκτυο στόχου ορμής ή διαβάθμισης διακοπής για να αποφευχθεί η κατάρρευση, όπου όλες οι ενσωματώσεις γίνονται πανομοιότυπες.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον της αντιθετικής μάθησης
Η αντιθετική μάθηση συγκλίνει με τη συγκαλυμμένη και παραγωγική αυτο-επίβλεψη σε υβριδικούς στόχους που αποτυπώνουν τόσο την παγκόσμια ομοιότητα όσο και τη λεπτομέρεια. Ο μεγαλύτερος αντίκτυπός του είναι πολυτροπικός: οι ενσωματώσεις κειμένου με αντίθεση εικόνας (και τώρα ήχου και βίντεο) στηρίζουν την αναζήτηση, τη δημιουργία επαυξημένης ανάκτησης και την ταξινόμηση μηδενικής λήψης, και αυτό το αποτύπωμα θα αυξηθεί. Αναμένετε περισσότερη δουλειά για τη μείωση της όρεξης για τεράστιες παρτίδες, για καλύτερες στρατηγικές αύξησης και αρνητικής εξόρυξης και για επέκταση της προσέγγισης σε τομείς όπως η ιατρική απεικόνιση και οι χρονοσειρές όπου οι ετικέτες είναι σπάνιες και ακριβές.
Υλοποίηση σε πραγματικό κόσμο
CLIP εκμάθηση ενός κοινόχρηστου χώρου εικόνας-κειμένου, ώστε να μπορείτε να αναζητήσετε μια βιβλιοθήκη φωτογραφιών με μια πληκτρολογημένη φράση όπως «ένας σκύλος σε skateboard».
Προεκπαίδευση της ραχοκοκαλιάς της όρασης με το SimCLR σε φωτογραφίες χωρίς ετικέτα και, στη συνέχεια, βελτιστοποιήστε το για ανίχνευση ασθενειών μόνο με ένα μικρό σετ με ετικέτα.
Δημιουργία προτάσεων προϊόντων ή τραγουδιών όπου οι ενσωματώσεις αντικειμένων που αρέσουν σε έναν χρήστη βρίσκονται κοντά για ανάκτηση του πλησιέστερου γείτονα.
Συστήματα επαλήθευσης προσώπου που εκπαιδεύουν τις ενσωματώσεις έτσι ώστε δύο φωτογραφίες του ίδιου ατόμου να είναι κοντά και διαφορετικά άτομα να απέχουν πολύ.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Contrastive Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ομοσπονδιακή Μάθηση
Συχνές ερωτήσεις
What is Contrastive Learning?
Η αντιθετική μάθηση διδάσκει σε ένα μοντέλο να ενώνει παρόμοια πράγματα και να απομακρύνει ανόμοια πράγματα σε έναν χώρο ενσωμάτωσης. Έχει σημασία γιατί επιτρέπει στην τεχνητή νοημοσύνη να μαθαίνει ισχυρές αναπαραστάσεις από κυρίως δεδομένα χωρίς ετικέτα, ενισχύοντας την αναζήτηση εικόνων, προτάσεις και πολυτροπικά μοντέλα.
Ποιος είναι ο βασικός στόχος της αντιθετικής μάθησης;
Η αντιθετική μάθηση διαμορφώνει έναν χώρο ενσωμάτωσης, έτσι ώστε τα ζευγάρια που ταιριάζουν να είναι κοντά και τα μη ταιριαστά ζευγάρια να απέχουν πολύ μεταξύ τους.
Σε μια μέθοδο αυτοεποπτευόμενης εικόνας όπως το SimCLR, πώς δημιουργείται συνήθως ένα θετικό ζεύγος;
Το SimCLR σχηματίζει θετικά από δύο επαυξημένες προβολές μιας εικόνας, ενώ άλλες εικόνες της παρτίδας χρησιμεύουν ως αρνητικά.
Ποια συνάρτηση απώλειας σχετίζεται περισσότερο με την αντιθετική μάθηση;
Το InfoNCE, ένα softmax για τις βαθμολογίες ομοιότητας με μια θερμοκρασία, είναι ο τυπικός αντιθετικός στόχος.
Γιατί μέθοδοι όπως το MoCo χρησιμοποιούν τράπεζα μνήμης ή ουρά;
Η αντιθετική μάθηση επωφελείται από πολλά αρνητικά. μια ουρά τα παρέχει ενώ διατηρεί το μέγεθος της παρτίδας διαχειρίσιμο.
Από ποιο πρόβλημα προστατεύουν ειδικά οι BYOL και SimSiam χωρίς να χρησιμοποιούν ρητά αρνητικά;
Χωρίς αρνητικά, ένα μοντέλο θα μπορούσε να αντιστοιχίσει επιπόλαια τα πάντα στο ίδιο διάνυσμα. Οι στόχοι κλίσης στάσης και ορμής εμποδίζουν αυτήν την κατάρρευση.