Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Perplexity και Κουίζ Γλωσσικών Μετρήσεων

Εξετάστε την πιθανότητα του διακριτικού αναφοράς, τη διασταυρούμενη εντροπία, τις ομοιόμορφες γραμμές βάσης, τη συγκρίσιμη συμβολή, το BLEU, τα όρια ποιότητας, τα παράθυρα περιβάλλοντος και τα καλυμμένα μοντέλα.

Σχετικές διαδρομές οδηγώνPerplexity Και μετρήσεις γλώσσας
Ερώτηση 1 του 8

Under the same autoregressive text-scoring setup, what does lower perplexity indicate?

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Under the same autoregressive text-scoring setup, what does lower perplexity indicate?
    • Lower average negative log-likelihood for the reference tokens
    • A guarantee of more factually correct generated answers
    • A guarantee of a larger parameter count
    • A requirement that every top-choice prediction be correct
  2. Using natural-log negative log-likelihood, how is autoregressive perplexity computed from its average?
    • By multiplying the parameter count by the context length
    • By subtracting the average from the number of attention heads
    • By taking the average learning rate
    • By exponentiating the average negative log-likelihood
  3. Ένα μοντέλο εκχωρεί ομοιόμορφη πιθανότητα σε ένα λεξιλόγιο 10.000 λέξεων χωρίς μάθηση. Ποια είναι η αμηχανία του;
    • 1
    • 10.000
    • 0
    • 100
  4. Why do tokenizer and corpus settings matter when directly comparing per-token perplexity values?
    • Perplexity ignores every scored reference token
    • All corpora necessarily produce the same likelihood
    • They change the units or reference data over which probabilities are averaged
    • Only model parameter count determines the score
  5. Which translation-reference metric uses modified n-gram precision and a brevity penalty?
    • Perplexity
    • Μέσο τετράγωνο σφάλμα εικονοστοιχείου
    • Αριθμός παραμέτρων του μοντέλου
    • BLEU
  6. Ποιος βασικός περιορισμός ωθεί τους ερευνητές πέρα από την αμηχανία να κρίνουν την ποιότητα του πραγματικού κόσμου;
    • Το Perplexity μετρά την πρόβλεψη επόμενης λέξης, όχι εάν η έξοδος είναι χρήσιμη, αληθινή ή χρήσιμη
    • Το Perplexity είναι πολύ ακριβό για να υπολογιστεί
    • Το Perplexity δεν μπορεί να υπολογιστεί σε δεδομένα κειμένου
    • Το Perplexity λειτουργεί μόνο κατά την εξαγωγή συμπερασμάτων, όχι κατά την εκπαίδευση
  7. When scoring a long text with a fixed-context model, what can a sliding-window procedure provide that disjoint chunks lose near boundaries?
    • A new vocabulary learned automatically at every boundary
    • A guarantee that generated answers are factually correct
    • More preceding context for the scored target tokens
    • A requirement to count each overlapping target repeatedly
  8. Why is conventional left-to-right perplexity not directly the same score for a BERT-style masked language model?
    • BERT has no learned parameters
    • The masked model does not directly define the same autoregressive sequence factorization
    • Every masked-token probability is necessarily zero
    • Perplexity is defined only for image pixels