ΕπόμενοΕπόμενος οδηγός
AI Kitchen Display Systems και Ticket Timing
Βιομηχανίες
ΟΔΗΓΟΣ Βασικών Αρχών
Υπόθεση λαχείου
Η Υπόθεση Εισιτηρίου Λοταρίας προτείνει ότι ορισμένα μεγάλα, τυχαία αρχικοποιημένα νευρωνικά δίκτυα περιέχουν αραιά υποδίκτυα που μπορούν να εκπαιδεύονται μεμονωμένα από τα αντίστοιχα αρχικά βάρη τους για να φτάσουν σε ακρίβεια συγκρίσιμη με το πυκνό μοντέλο.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Τα αρχικά πειράματα υποστηρίζουν αυτό σε δοκιμασμένες ρυθμίσεις, αντί να εγγυώνται ένα συμπαγές εισιτήριο για κάθε μοντέλο ή εργασία.
Βαθιά κατάδυση
Ο Jonathan Frankle και ο Michael Carbin παρουσίασαν την Υπόθεση Εισιτηρίων Λοταρίας το 2018. Σε πειράματα σε πλήρως συνδεδεμένα και συνελικτικά δίκτυα για το MNIST και το CIFAR-10, βρήκαν αραιά υποδίκτυα που, όταν εκπαιδεύτηκαν σε απομόνωση από την αρχική τους προετοιμασία, έφτασαν σε ακρίβεια δοκιμής συγκρίσιμη με τον πυκνό αριθμό δικτύων i σε παρόμοιο αριθμό. Τα εισιτήρια που αναφέρθηκαν ήταν λιγότερο από το 10–20% του αρχικού μεγέθους μοντέλου σε αυτές τις ρυθμίσεις. Αυτό είναι ένα εμπειρικό αποτέλεσμα, όχι μια γενική εγγύηση συμπίεσης. Η διαδικασία κλαδέματος επαναληπτικού μεγέθους εκπαιδεύει ένα δίκτυο, αφαιρεί βάρη με μικρά μεγέθη, επαναφέρει τα επιζώντα βάρη στις αρχικές τους τιμές και επαναλαμβάνει. Αργότερα η εργασία μελέτησε την επανατύλιξη σε ένα σημείο ελέγχου πρώιμης εκπαίδευσης. Η τυχαία επανεκκίνηση μιας μάσκας που βρέθηκε μπορεί να μειώσει το όφελος που παρατηρήθηκε στα αρχικά πειράματα. Η ευρύτερη πρόταση ότι η πυκνή υπερπαραμετροποίηση βοηθά τη βελτιστοποίηση να ανακαλύψει αυτά τα αραιά υποδίκτυα είναι μια εικασία σχετικά με τον μηχανισμό, όχι ένα ξεχωριστό αποτέλεσμα που δημιουργήθηκε από τα αρχικά πειράματα.
Υλοποίηση σε πραγματικό κόσμο
Έλεγχος εάν ένα αραιό υποδίκτυο μπορεί να διατηρήσει την ακρίβεια ενός πυκνού μοντέλου σε ένα καθορισμένο σύνολο δεδομένων και αρχιτεκτονική
Σύγκριση επαναληπτικού κλαδέματος και επανατύλιξης βάρους με εκπαίδευση ενός αραιού μοντέλου από μια νέα τυχαία προετοιμασία
Μελετώντας πώς τα εισιτήρια που ανακαλύφθηκαν μεταφέρονται μεταξύ σχετικών συνόλων δεδομένων ή αρχιτεκτονικών μοντέλων
Αξιολόγηση εάν τα αραιά μοντέλα μειώνουν το κόστος αποθήκευσης ή συμπερασμάτων σε μια συσκευή-στόχο
The Future of Lottery Ticket Hypothesis
Η έρευνα για τα εισιτήρια λαχειοφόρων αγορών ρωτά πότε μπορούν να βρεθούν φθηνά αραιά υποδίκτυα, εάν μεταφέρονται μεταξύ των εργασιών και πώς το κλάδεμα επηρεάζει το κόστος εκπαίδευσης και συμπερασμάτων. Μια ξεχωριστή ισχυρή γραμμή λαχειοφόρων αγορών μελετά εάν ένα επαρκώς υπερπαραμετροποιημένο τυχαίο δίκτυο περιέχει ένα υποδίκτυο που προσεγγίζει ένα δίκτυο-στόχο χωρίς περαιτέρω προπόνηση με βάρη. Αυτό είναι ένας ξεχωριστός θεωρητικός ισχυρισμός και όχι μια εγγύηση για κάθε πρακτικό μοντέλο.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθάει η Υπόθεση Λαχείου και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Lottery Ticket Hypothesis quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η υπόθεση του λαχείου;
Η Υπόθεση Εισιτηρίου Λοταρίας προτείνει ότι ορισμένα μεγάλα, τυχαία αρχικοποιημένα νευρωνικά δίκτυα περιέχουν αραιά υποδίκτυα που μπορούν να εκπαιδεύονται μεμονωμένα από τα αντίστοιχα αρχικά βάρη τους για να φτάσουν σε ακρίβεια συγκρίσιμη με το πυκνό μοντέλο. Τα αρχικά πειράματα υποστηρίζουν αυτό σε δοκιμασμένες ρυθμίσεις, αντί να εγγυώνται ένα συμπαγές εισιτήριο για κάθε μοντέλο ή εργασία.
Τι είναι ένα «κερδισμένο εισιτήριο» σε αυτή την υπόθεση;
Ένα νικητήριο δελτίο είναι ένα μικρό υποδίκτυο το οποίο, όταν εκπαιδεύεται μεμονωμένα από τα ίδια αρχικά βάρη, φτάνει σε ακρίβεια συγκρίσιμη με το πυκνό δίκτυο.
Στα αρχικά πειράματα λαχειοφόρων αγορών, τι συνδυάστηκε με την αραιή μάσκα που ανακαλύφθηκε κατά την επανεκπαίδευση ενός εισιτηρίου;
Η αρχική μέθοδος συνδύασε μια μάσκα κλαδέματος που ανακαλύφθηκε με τα επιζώντα βάρη επαναφέρονται στην αρχική τους προετοιμασία. μεταγενέστερη εργασία μελέτησε επίσης την επανατύλιξη πρώιμου σημείου ελέγχου.
Ποιος πρότεινε την υπόθεση του λαχείου;
Ο Τζόναθαν Φράνκλ και ο Μάικλ Κάρμπιν εισήγαγαν την υπόθεση στην εργασία τους του MIT του 2018.
Ποια διαδικασία χρησιμοποίησε το αρχικό χαρτί Υπόθεσης Εισιτηρίων Λοταρίας για τον προσδιορισμό των κερδισμένων εισιτηρίων;
Η αρχική διαδικασία κλάδεψε επαναληπτικά βάρη χαμηλού μεγέθους και επανέφερε τα βάρη που είχαν διασωθεί στην αρχική τους προετοιμασία πριν από την επανεκπαίδευση. Η επανατύλιξη πρώιμου σημείου ελέγχου μελετήθηκε αργότερα.
Πώς πρέπει να περιγραφεί η ιδέα ότι η υπερπαραμετροποίηση βοηθά τη βελτιστοποίηση να βρει μια εκπαιδεύσιμη αραιή δομή;
Τα αρχικά πειράματα προσδιορίζουν τα εισιτήρια που κερδίζουν σε δοκιμασμένες ρυθμίσεις. ο ισχυρισμός ότι η πυκνή υπερπαραμετροποίηση βοηθά την αναζήτηση τους είναι μια εικασία για το γιατί συμβαίνει το φαινόμενο.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα