Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο
Κουίζ ομαλοποίησης παρτίδας
Ελέγχει τα στατιστικά στοιχεία παρτίδας, την κλίμακα συνάφειας και τη μετατόπιση, τους τρέχοντες μέσους όρους, την αστάθεια σε μικρές παρτίδες και πώς διαφέρει το BatchNorm από το LayerNorm.
Ερώτηση 1 του 8
Τι ομαλοποιεί η ομαλοποίηση παρτίδας;
Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις
Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.
- Τι ομαλοποιεί η ομαλοποίηση παρτίδας;
- Οι είσοδοι σε ένα επίπεδο, στα παραδείγματα της τρέχουσας μίνι παρτίδας
- Οι τελικές ετικέτες εξόδου του δικτύου
- Το χρονοδιάγραμμα του ρυθμού μάθησης με την πάροδο του χρόνου
- Το μέγεθος του συνόλου δεδομένων εκπαίδευσης
- Γιατί η ομαλοποίηση παρτίδας περιλαμβάνει παραμέτρους γάμμα και βήτα με δυνατότητα εκμάθησης;
- Για να αυξήσετε το μέγεθος του συνόλου δεδομένων
- Για να αφήσετε το δίκτυο να κλιμακώσει και να μετατοπίσει τις κανονικοποιημένες τιμές, διατηρώντας την αναπαραστατική ισχύ
- Τυχαία πτώση νευρώνων κατά τη διάρκεια της προπόνησης
- Για να υπολογίσετε τη συνάρτηση απώλειας
- Ποιο είναι ένα κοινώς αναφερόμενο πρακτικό όφελος της ομαλοποίησης παρτίδων;
- Εξαλείφει την ανάγκη για δεδομένα εκπαίδευσης
- Εγγυάται ότι το μοντέλο δεν μπορεί να τοποθετηθεί υπερβολικά
- Επιτρέπει υψηλότερα ποσοστά μάθησης και ταχύτερη, πιο σταθερή σύγκλιση
- Καταργεί την ανάγκη για λειτουργία ενεργοποίησης
- Κατά το χρόνο συμπερασμάτων (πρόβλεψη για νέα δεδομένα), ποια στατιστικά στοιχεία χρησιμοποιεί η ομαλοποίηση παρτίδας;
- Μόνο ο μέσος όρος και η διακύμανση της τρέχουσας μεμονωμένης εισόδου
- Τυχαία δημιουργημένα στατιστικά στοιχεία κάθε φορά
- Τα στατιστικά στοιχεία του συνόλου δοκιμής έχουν υπολογιστεί εκ των προτέρων
- Τρέχοντες μέσοι όροι του μέσου όρου και της διακύμανσης που συσσωρεύτηκαν κατά τη διάρκεια της προπόνησης
- Γιατί η κανονικοποίηση παρτίδων μπορεί να συμπεριφέρεται άσχημα με πολύ μικρά μεγέθη παρτίδων;
- Τα στατιστικά παρτίδας γίνονται θορυβώδεις και αναξιόπιστες εκτιμήσεις της πραγματικής διανομής
- Οι μικρές παρτίδες κάνουν το μοντέλο πολύ μεγάλο για να χωράει στη μνήμη
- Απενεργοποιεί τις λειτουργίες ενεργοποίησης
- Μικρές παρτίδες επιβάλλουν τη χρήση της τακτοποίησης L1
- Ποια τεχνική κανονικοποίησης χρησιμοποιείται πιο συχνά στις αρχιτεκτονικές μετασχηματιστών ως εναλλακτική λύση στην κανονικοποίηση κατά παρτίδες;
- Ομαλοποίηση εγκατάλειψης
- Ομαλοποίηση στρώματος
- L2 ομαλοποίηση της απώλειας
- Απόκομμα ντεγκραντέ
- Γιατί το BatchNorm χρησιμοποιεί τρέχοντες μέσους όρους κατά την εξαγωγή συμπερασμάτων αντί για τα στατιστικά της τρέχουσας δοκιμαστικής παρτίδας;
- Για επανεκπαίδευση του μοντέλου σε δεδομένα δοκιμής
- Για να κάνετε όλες τις ενεργοποιήσεις ακριβώς μηδέν
- Επομένως, μια πρόβλεψη δεν εξαρτάται από το ποια άλλα παραδείγματα μοιράζονται την παρτίδα
- Για την εξάλειψη του μαθημένου γάμμα και βήτα
- Πού τοποθετείται συνήθως το BatchNorm εντός ενός μπλοκ επιπέδων σύμφωνα με τον οδηγό;
- Μόνο μετά την τελική πρόβλεψη
- Πριν φορτωθούν τα δεδομένα εισόδου
- Μέσα στην ενημέρωση του optimizer
- Μεταξύ του γραμμικού μετασχηματισμού και της συνάρτησης ενεργοποίησής του