Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Προγραμματισμένη δειγματοληψία και κουίζ μεροληψίας έκθεσης

Ελέγχει τον τρόπο με τον οποίο η προγραμματισμένη δειγματοληψία αλλάζει το πλαίσιο του αποκωδικοποιητή, γιατί μειώνεται η πιθανότητα χρυσού συμβολισμού και οι βαθμιδωτοί αντισταθμίσεις της δειγματοληψίας.

Σχετικές διαδρομές οδηγώνΠρογραμματισμένη δειγματοληψία και προκατάληψη έκθεσης
Ερώτηση 1 του 8

Η μεροληψία έκθεσης προκύπτει επειδή τα μοντέλα που έχουν εκπαιδευτεί με τον δάσκαλο να επιβάλλει μόνο προϋποθέσεις:

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Η μεροληψία έκθεσης προκύπτει επειδή τα μοντέλα που έχουν εκπαιδευτεί με τον δάσκαλο να επιβάλλει μόνο προϋποθέσεις:
    • Δείγματα βασικής αλήθειας, αλλά πρέπει να χρησιμοποιούν τα δικά τους στο συμπέρασμα
    • Τα δικά τους προβλεπόμενα διακριτικά
    • Δείκτες τυχαίου θορύβου
    • Μελλοντικά διακριτικά
  2. Τι κάνει η προγραμματισμένη δειγματοληψία κατά τη διάρκεια της εκπαίδευσης;
    • Πάντα τροφοδοτεί το αληθινό διακριτικό
    • Επιλέγει τυχαία μεταξύ του αληθινού διακριτικού και της πρόβλεψης του ίδιου του μοντέλου
    • Απενεργοποιεί περιοδικά τη λειτουργία απώλειας
    • Διπλασιάζει το ρυθμό μάθησης με την πάροδο του χρόνου
  3. Πώς αλλάζει η πιθανότητα χρήσης του διακριτικού εδάφους αλήθειας σε σχέση με την προπόνηση στην προγραμματισμένη δειγματοληψία;
    • Παραμένει σταθερό
    • Ξεκινά χαμηλά και αυξάνεται
    • Ξεκινά ψηλά και φθείρεται προς το μηδέν
    • Ταλαντώνεται τυχαία
  4. Ποιος εισήγαγε την προγραμματισμένη δειγματοληψία και πότε περίπου;
    • Vaswani et al., 2017
    • Hinton et al., 2006
    • LeCun et al., 1998
    • Bengio et al., 2015
  5. Ένα αναγνωρισμένο τεχνικό μειονέκτημα της τροφοδοσίας των δειγμάτων δειγμάτων πίσω κατά τη διάρκεια της εκπαίδευσης είναι ότι:
    • Το διακριτό βήμα δειγματοληψίας είναι μη διαφοροποιήσιμο, περιπλέκοντας τις κλίσεις
    • Κάνει την προπόνηση εντελώς ντετερμινιστική
    • Δεν απαιτεί δεδομένα επικύρωσης
    • Εξαλείφει την ανάγκη για ενσωματώσεις
  6. Ποιο σχήμα χρονοδιαγράμματος αναφέρεται συνήθως για τη μείωση της πιθανότητας επιβολής του δασκάλου;
    • Σταθερά
    • Αντίστροφη-σιγμοειδής αποσύνθεση
    • Σταδιακή γραμμική αύξηση
    • Τυχαία βόλτα
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning