Perplexity i quiz dotyczący metryk językowych

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Under the same autoregressive text-scoring setup, what does lower perplexity indicate?
   • Lower average negative log-likelihood for the reference tokens
   • A guarantee of more factually correct generated answers
   • A guarantee of a larger parameter count
   • A requirement that every top-choice prediction be correct
2. Using natural-log negative log-likelihood, how is autoregressive perplexity computed from its average?
   • By multiplying the parameter count by the context length
   • By subtracting the average from the number of attention heads
   • By taking the average learning rate
   • By exponentiating the average negative log-likelihood
3. Model przypisuje jednolite prawdopodobieństwo dla słownictwa składającego się z 10 000 słów bez konieczności uczenia się. Na czym polega jego zakłopotanie?
   • 1
   • 10 000
   • 0
   • 100
4. Why do tokenizer and corpus settings matter when directly comparing per-token perplexity values?
   • Perplexity ignores every scored reference token
   • All corpora necessarily produce the same likelihood
   • They change the units or reference data over which probabilities are averaged
   • Only model parameter count determines the score
5. Which translation-reference metric uses modified n-gram precision and a brevity penalty?
   • Perplexity
   • Średni kwadratowy błąd piksela
   • Liczba parametrów modelu
   • NIEBIESKI
6. Jakie kluczowe ograniczenie sprawia, że badacze wykraczają poza zakłopotanie przy ocenie jakości w świecie rzeczywistym?
   • Perplexity mierzy przewidywanie następnego słowa, a nie to, czy wynik jest użyteczny, prawdziwy czy pomocny
   • Obliczenie Perplexity jest zbyt kosztowne
   • Perplexity nie można obliczyć na danych tekstowych
   • Perplexity działa tylko podczas wnioskowania, a nie szkolenia
7. When scoring a long text with a fixed-context model, what can a sliding-window procedure provide that disjoint chunks lose near boundaries?
   • A new vocabulary learned automatically at every boundary
   • A guarantee that generated answers are factually correct
   • More preceding context for the scored target tokens
   • A requirement to count each overlapping target repeatedly
8. Why is conventional left-to-right perplexity not directly the same score for a BERT-style masked language model?
   • BERT has no learned parameters
   • The masked model does not directly define the same autoregressive sequence factorization
   • Every masked-token probability is necessarily zero
   • Perplexity is defined only for image pixels