ΕπόμενοΕπόμενος οδηγός
Lookahead και Lion Optimizers
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Στόχοι InfoNCE και SimCLR
Το InfoNCE είναι η απώλεια αντίθεσης που διδάσκει σε ένα μοντέλο να ενώνει τα ταιριαστά ζεύγη και να απομακρύνει τα αταίριαστα ζεύγη στον χώρο ενσωμάτωσης.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Βαθιά κατάδυση
Το InfoNCE (εκτίμηση θορύβου-αντίθετα για αμοιβαία πληροφόρηση) εκπαιδεύει έναν κωδικοποιητή έτσι ώστε ένα ερώτημα και το πραγματικό του θετικό να έχουν υψηλότερη βαθμολογία ομοιότητας από το ερώτημα και πολλά αρνητικά. Είναι ουσιαστικά μια διασταυρούμενη εντροπία softmax επί των βαθμολογιών ομοιότητας: για μια άγκυρα, το θετικό πρέπει να κερδίζει έναντι των αρνητικών. Το SimCLR (2020) το έθεσε σε λειτουργία για τις εικόνες: τραβήξτε μια εικόνα, εφαρμόστε δύο τυχαίες επαυξήσεις για να δημιουργήσετε ένα θετικό ζεύγος, περάστε και τα δύο μέσω ενός κοινόχρηστου κωδικοποιητή συν μια κεφαλή προβολής και χρησιμοποιήστε την κανονικοποιημένη κλίμακα θερμοκρασίας διασταυρούμενη εντροπία (NT-Xent, μια παραλλαγή InfoNCE) έτσι ώστε οι δύο επαυξημένες προβολές να προσελκύονται ενώ όλες οι άλλες εικόνες ενεργούν ως αρνητικές. Το SimCLR έδειξε ότι η ισχυρή αύξηση δεδομένων, η μη γραμμική κεφαλή προβολής, τα μεγάλα μεγέθη παρτίδας και η συντονισμένη θερμοκρασία μαζί επιτρέπουν στα αυτοεπιβλεπόμενα μοντέλα να ταιριάζουν με τα εποπτευόμενα στο ImageNet — χωρίς ετικέτες κατά τη διάρκεια της προεκπαίδευσης.
Υλοποίηση σε πραγματικό κόσμο
Η SimCLR εκπαιδεύει εκ των προτέρων έναν κωδικοποιητή εικόνας σε φωτογραφίες χωρίς ετικέτα και, στη συνέχεια, βελτιστοποιεί σε ένα μικρό σετ με ετικέτα για ταξινόμηση.
ΚΛΙΠ χρησιμοποιώντας έναν στόχο InfoNCE για αντιστοίχιση εικόνων με τους υπότιτλους τους, επιτρέποντας την ταξινόμηση εικόνων μηδενικής λήψης.
Δημιουργία οπτικής αναζήτησης/ανάκτησης όπου παρόμοιες εικόνες βρίσκονται κοντά η μία στην άλλη στον μαθημένο χώρο ενσωμάτωσης.
Αυτοεποπτευόμενη προεκπαίδευση για ιατρικές ή δορυφορικές εικόνες όπου οι ετικέτες είναι σπάνιες αλλά τα ακατέργαστα δεδομένα είναι άφθονα.
Στόχοι The Future of InfoNCE και SimCLR
Αντιθετικοί στόχοι εξαπλώνονται πολύ πέρα από το SimCLR: Το CLIP ευθυγραμμίζει τις εικόνες με το κείμενο χρησιμοποιώντας το InfoNCE σε όλες τις λεπτομέρειες και η ίδια απώλεια οδηγεί σε μοντέλα ήχου, βίντεο και ανάκτησης. Η έρευνα τώρα μειώνει την εξάρτηση από τεράστιες παρτίδες και πολλά αρνητικά μέσω τραπεζών μνήμης (MoCo) ή αφαιρεί εξ ολοκλήρου τα ρητά αρνητικά (BYOL, SimSiam, DINO). Αναμένετε τη συνεχή ανάμειξη της προεκπαίδευσης αντίθεσης, απόσταξης και μοντελοποίησης με μάσκα, με την πολυτροπική ευθυγράμμιση (κείμενο, εικόνα, ήχος) ως κυρίαρχο όριο για τα μοντέλα θεμελίωσης.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the InfoNCE and SimCLR Objectives quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is InfoNCE and SimCLR Objectives?
Το InfoNCE είναι η απώλεια αντίθεσης που διδάσκει σε ένα μοντέλο να ενώνει τα ταιριαστά ζεύγη και να απομακρύνει τα αταίριαστα ζεύγη στον χώρο ενσωμάτωσης. Το SimCLR είναι ένα πλαίσιο ορόσημο που χρησιμοποίησε αυτήν την απώλεια για να μάθει ισχυρές αναπαραστάσεις εικόνων από δεδομένα χωρίς ετικέτα, συναγωνίζοντας την εποπτευόμενη προεκπαίδευση.
Τι ενθαρρύνει ο στόχος InfoNCE να κάνει ένα μοντέλο;
Το InfoNCE είναι ένα softmax έναντι των ομοιοτήτων που ανταμείβει την υψηλή ομοιότητα για την πραγματική θετική και τη χαμηλή ομοιότητα για τα αρνητικά.
Στο SimCLR, πώς δημιουργείται ένα θετικό ζεύγος;
Το SimCLR δημιουργεί ένα θετικό ζεύγος από δύο επαυξημένες προβολές της ίδιας εικόνας πηγής. άλλες εικόνες χρησιμεύουν ως αρνητικά.
Τι ρόλο παίζει η θερμοκρασία τ στο NT-Xent / InfoNCE;
Η διαίρεση των ομοιοτήτων με τ πριν από το softmax ελέγχει πόσο έντονα διακρίνει η απώλεια τα θετικά από τα σκληρά αρνητικά.
Τι συμβαίνει με την κεφαλή προβολής του SimCLR μετά την προπόνηση;
Η SimCLR διαπίστωσε ότι τα χαρακτηριστικά πριν από την κεφαλή προβολής μεταφέρονται καλύτερα, επομένως το κεφάλι πετιέται μετά την προπόνηση.
Γιατί η SimCLR βασίστηκε σε μεγάλα μεγέθη παρτίδων;
Στο SimCLR οι υπόλοιπες εικόνες της παρτίδας λειτουργούν ως αρνητικά, επομένως οι μεγαλύτερες παρτίδες δίνουν περισσότερα αρνητικά και ισχυρότερη εκμάθηση.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα