Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ δομημένου κλαδέματος και πτώσης στρωμάτων

Ελέγχει γιατί το δομημένο κλάδεμα επιταχύνει το συμπέρασμα, πώς εκτιμάται η σημασία του στρώματος και πώς η τελειοποίηση ή η απόσταξη ανακτά την ποιότητα.

Σχετικές διαδρομές οδηγώνΔομημένο κλάδεμα και πτώση στρωμάτων
Ερώτηση 1 του 8

Γιατί το δομημένο κλάδεμα παράγει πραγματικές επιταχύνσεις ενώ το μη δομημένο κλάδεμα συχνά όχι;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Γιατί το δομημένο κλάδεμα παράγει πραγματικές επιταχύνσεις ενώ το μη δομημένο κλάδεμα συχνά όχι;
    • Το δομημένο κλάδεμα αφαιρεί συνεκτικά μπλοκ που στην πραγματικότητα συρρικνώνουν τους τανυστές
    • Το μη δομημένο κλάδεμα αυξάνει το μέγεθος του μοντέλου
    • Το δομημένο κλάδεμα προσθέτει περισσότερα στρώματα
    • Το μη δομημένο κλάδεμα λειτουργεί μόνο σε CPU
  2. Τι είναι το «layer drop» στο πλαίσιο των μετασχηματιστών;
    • Μείωση του ρυθμού εκμάθησης ανά επίπεδο
    • Διαγραφή ολόκληρων μπλοκ μετασχηματιστή για μείωση του βάθους του μοντέλου
    • Προσθήκη εγκατάλειψης σε κάθε επίπεδο
    • Αναδιάταξη των επιπέδων τυχαία
  3. Ποιο σήμα συνήθως υποδεικνύει ότι ένα στρώμα μετασχηματιστή μπορεί να πέσει με ασφάλεια;
    • Το επίπεδο έχει τις περισσότερες παραμέτρους
    • Το επίπεδο είναι το πρώτο στο δίκτυο
    • Οι κρυφές καταστάσεις εισόδου και εξόδου του επιπέδου είναι πολύ παρόμοιες
    • Το επίπεδο χρησιμοποιεί την περισσότερη μνήμη
  4. Ποιο βήμα ανακτά συνήθως την ακρίβεια μετά το δομημένο κλάδεμα;
    • Αύξηση μόνο του μεγέθους παρτίδας
    • Εκ νέου κβαντισμός στα 16 bit
    • Προσθήκη περισσότερων κεφαλών προσοχής
    • Ένας σύντομος γύρος τελειοποίησης ή απόσταξης γνώσης
  5. Πώς κατατάσσονται συχνά οι ατομικές κεφαλές προσοχής για το κλάδεμα;
    • Με την αύξηση της απώλειας όταν το κεφάλι είναι καλυμμένο (ευαισθησία)
    • Με αλφαβητική σειρά
    • Από τη θέση τους στο λεξιλόγιο
    • Με τον αριθμό των μαρκών που έχουν δει
  6. Ποια είναι η κύρια πρακτική χρήση του δομημένου κλαδέματος σε συνδυασμό με την απόσταξη;
    • Αυτόματη δημιουργία δεδομένων εκπαίδευσης
    • Ανταγωγή μιας οικογένειας μικρότερων, ταχύτερων μοντέλων από ένα μεγάλο σημείο ελέγχου
    • Κρυπτογράφηση βαρών μοντέλου
    • Αύξηση του μήκους του παραθύρου περιβάλλοντος
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping