Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ απόσταξης γνώσης

Εφαρμόστε κατανομές δασκάλων, μετριασμένους στόχους και αξιολόγηση μαθητών στην απόσταξη, συμπεριλαμβανομένου του γιατί η μίμηση δεν εγγυάται την ακρίβεια σε επίπεδο δασκάλου.

Σχετικές διαδρομές οδηγώνΑπόσταξη Γνώσης
Ερώτηση 1 του 8

In knowledge distillation, what is the student model trained to do?

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. In knowledge distillation, what is the student model trained to do?
    • Να εκπαιδεύσετε ένα μικρό μοντέλο μαθητή ώστε να μιμείται ένα μεγάλο μοντέλο δασκάλου
    • Για να γίνει ένα μοντέλο μεγαλύτερο και πιο ακριβές
    • Για αυτόματη επισήμανση δεδομένων
    • Για να κρυπτογραφήσετε τα βάρη ενός μοντέλου
  2. Τι σημαίνει η «σκοτεινή γνώση» του δασκάλου;
    • Κρυφή κακόβουλη συμπεριφορά στο μοντέλο
    • Το κρυπτογραφημένο τμήμα του αρχείου μοντέλου
    • Οι πληροφορίες στις σχετικές πιθανότητες ο δάσκαλος αναθέτει σε λάθος τάξεις
    • Δεδομένα στα οποία ο δάσκαλος δεν εκπαιδεύτηκε ποτέ
  3. Τι ρόλο παίζει η θερμοκρασία (Τ) στην απόσταξη;
    • Ελέγχει μόνο την ταχύτητα εκπαίδευσης του μοντέλου
    • Απαλύνει το softmax, ώστε μικρές ομοιότητες μεταξύ των τάξεων να γίνονται μαθησιακές
    • Ορίζει τον αριθμό των επιπέδων στο μαθητή
    • Μετρά την παραγωγή θερμότητας της GPU
  4. Ποια δύο συστατικά συνδυάζει η κλασική απώλεια απόσταξης;
    • Δύο ξεχωριστά μοντέλα ανταμοιβής
    • Μέσο τετράγωνο σφάλμα και απώλεια άρθρωσης
    • Μια ποινή KL έναντι μιας πολιτικής αναφοράς και μιας συνάρτησης τιμής
    • Ένας όρος απόκλισης KL που ταιριάζει με τα μαλακά αποτελέσματα του δασκάλου συν διασταυρούμενη εντροπία στις πραγματικές ετικέτες
  5. Ποιο είναι ένα παράδειγμα αποσταγμένου γλωσσικού μοντέλου;
    • ResNet-50
    • Word2Vec
    • DistilBERT
    • AlexNet
  6. Πώς διαφέρει η απόσταξη με βάση τα χαρακτηριστικά από την κλασική προσέγγιση που βασίζεται στην παραγωγή;
    • Ταιριάζει με ενδιάμεσες αναπαραστάσεις κρυφού επιπέδου, όχι μόνο τελικές εξόδους
    • Αγνοεί εντελώς τον δάσκαλο
    • Χρησιμοποιεί μόνο σκληρές ετικέτες
    • Εκπαιδεύει τον δάσκαλο αντί για τον μαθητή
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names