Kvíz spojený s průvodcem · Střední úroveň
Perplexity a kvíz jazykových metrik
Zkontrolujte pravděpodobnost referenčního tokenu, křížovou entropii, jednotné základní linie, srovnatelnou tokenizaci, BLEU, limity kvality, kontextová okna a maskované modely.
Otázka 1 z 8
Under the same autoregressive text-scoring setup, what does lower perplexity indicate?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Under the same autoregressive text-scoring setup, what does lower perplexity indicate?
- Lower average negative log-likelihood for the reference tokens
- A guarantee of more factually correct generated answers
- A guarantee of a larger parameter count
- A requirement that every top-choice prediction be correct
- Using natural-log negative log-likelihood, how is autoregressive perplexity computed from its average?
- By multiplying the parameter count by the context length
- By subtracting the average from the number of attention heads
- By taking the average learning rate
- By exponentiating the average negative log-likelihood
- Model přiřazuje jednotnou pravděpodobnost přes 10 000 slovní zásobu bez učení. V čem spočívá jeho zmatenost?
- 1
- 10 000
- 0
- 100
- Why do tokenizer and corpus settings matter when directly comparing per-token perplexity values?
- Perplexity ignores every scored reference token
- All corpora necessarily produce the same likelihood
- They change the units or reference data over which probabilities are averaged
- Only model parameter count determines the score
- Which translation-reference metric uses modified n-gram precision and a brevity penalty?
- Perplexity
- Střední chyba čtvercového pixelu
- Počet parametrů modelu
- BLEU
- Jaké klíčové omezení tlačí výzkumníky za zmatek při posuzování kvality v reálném světě?
- Perplexity měří předpověď dalšího slova, nikoli to, zda je výstup užitečný, pravdivý nebo užitečný
- Perplexity je příliš drahé na výpočet
- Perplexity nelze vypočítat z textových dat
- Perplexity funguje pouze během vyvozování, nikoli při tréninku
- When scoring a long text with a fixed-context model, what can a sliding-window procedure provide that disjoint chunks lose near boundaries?
- A new vocabulary learned automatically at every boundary
- A guarantee that generated answers are factually correct
- More preceding context for the scored target tokens
- A requirement to count each overlapping target repeatedly
- Why is conventional left-to-right perplexity not directly the same score for a BERT-style masked language model?
- BERT has no learned parameters
- The masked model does not directly define the same autoregressive sequence factorization
- Every masked-token probability is necessarily zero
- Perplexity is defined only for image pixels