Perplexity và Bài kiểm tra số liệu ngôn ngữ

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Under the same autoregressive text-scoring setup, what does lower perplexity indicate?
   • Lower average negative log-likelihood for the reference tokens
   • A guarantee of more factually correct generated answers
   • A guarantee of a larger parameter count
   • A requirement that every top-choice prediction be correct
2. Using natural-log negative log-likelihood, how is autoregressive perplexity computed from its average?
   • By multiplying the parameter count by the context length
   • By subtracting the average from the number of attention heads
   • By taking the average learning rate
   • By exponentiating the average negative log-likelihood
3. Một mô hình chỉ định xác suất thống nhất cho từ vựng 10.000 từ mà không cần học. Sự bối rối của nó là gì?
   • 1
   • 10.000
   • 0
   • 100
4. Why do tokenizer and corpus settings matter when directly comparing per-token perplexity values?
   • Perplexity ignores every scored reference token
   • All corpora necessarily produce the same likelihood
   • They change the units or reference data over which probabilities are averaged
   • Only model parameter count determines the score
5. Which translation-reference metric uses modified n-gram precision and a brevity penalty?
   • Perplexity
   • Lỗi pixel bình phương trung bình
   • Số tham số của mô hình
   • BLEU
6. Hạn chế chính nào khiến các nhà nghiên cứu không còn bối rối khi đánh giá chất lượng thực tế?
   • Perplexity đo lường dự đoán từ tiếp theo, chứ không phải liệu kết quả đầu ra có hữu ích, đúng hay hữu ích hay không
   • Perplexity quá đắt để tính toán
   • Perplexity không thể tính được trên dữ liệu văn bản
   • Perplexity chỉ hoạt động trong quá trình suy luận, không hoạt động trong quá trình đào tạo
7. When scoring a long text with a fixed-context model, what can a sliding-window procedure provide that disjoint chunks lose near boundaries?
   • A new vocabulary learned automatically at every boundary
   • A guarantee that generated answers are factually correct
   • More preceding context for the scored target tokens
   • A requirement to count each overlapping target repeatedly
8. Why is conventional left-to-right perplexity not directly the same score for a BERT-style masked language model?
   • BERT has no learned parameters
   • The masked model does not directly define the same autoregressive sequence factorization
   • Every masked-token probability is necessarily zero
   • Perplexity is defined only for image pixels