Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Next-Token Prediction

Επανεξέταση αυτοπαλινδρομικής εκπαίδευσης γλωσσικού μοντέλου, αιτιολογικού πλαισίου, επιβολής του δασκάλου και της διαφοράς μεταξύ εκπαίδευσης και παραγωγής.

Σχετικές διαδρομές οδηγώνΕπόμενη Πρόβλεψη Token
Ερώτηση 1 του 8

Τι βγάζει ένα μοντέλο πρόβλεψης επόμενου συμβολικού σε κάθε βήμα;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι βγάζει ένα μοντέλο πρόβλεψης επόμενου συμβολικού σε κάθε βήμα;
    • Μια κατανομή πιθανοτήτων στο λεξιλόγιο για το επόμενο διακριτικό
    • Μια μόνο σταθερή λέξη
    • Μια μετάφραση της πρότασης
    • Μια γραμματική βαθμολογία
  2. Ποιο είδος προσοχής χρησιμοποιεί ένας αποκωδικοποιητής τύπου GPT;
    • Αμφίδρομη προσοχή
    • Αιτιατική (καλυμμένη) προσοχή που κρύβει μελλοντικά διακριτικά
    • Καμία προσοχή
    • Τυχαία προσοχή
  3. Τι σημαίνει εδώ η «αυταρχική» γενιά;
    • Το μοντέλο δημιουργεί όλα τα διακριτικά ταυτόχρονα
    • Το μοντέλο παλινδρομεί σε μια μέση τιμή
    • Κάθε νέο διακριτικό προσαρτάται και ανατροφοδοτείται για να προβλέψει το επόμενο
    • Τα διακριτικά δημιουργούνται με τυχαία σειρά
  4. Ποια λειτουργία απώλειας ελαχιστοποιείται συνήθως κατά τη διάρκεια της προπόνησης;
    • Μέσο τετράγωνο σφάλμα
    • Απώλεια άρθρωσης
    • Συνημιτονική απόσταση
    • Διασταυρούμενη εντροπία στο επόμενο διακριτικό
  5. Τι κάνει η αύξηση της θερμοκρασίας κατά τη δειγματοληψία;
    • Κάνει την έξοδο πιο τυχαία και δημιουργική
    • Κάνει την παραγωγή αυστηρά ντετερμινιστική
    • Αυξάνει το μέγεθος του λεξιλογίου
    • Αφαιρεί το στρώμα softmax
  6. Πριν από την πρόβλεψη, πώς συνήθως προετοιμάζεται το ακατέργαστο κείμενο;
    • Είναι μεταφρασμένο στα αγγλικά
    • Χωρίζεται σε μάρκες από ένα tokenizer
    • Μετατρέπεται σε ήχο
    • Αφήνεται ως ακατέργαστοι χαρακτήρες χωρίς επεξεργασία
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix