Quiz lié à un guide · Difficile Niveau

Quiz d'échantillonnage typique

Vérifie le classement surprise typique basé sur l'entropie, le seuil de masse typique_p et les différences par rapport à l'échantillonnage top-p classé par probabilité.

Chemins de guidage associésÉchantillonnage typique
Question 1 de 8

À quelle quantité de base l'échantillonnage typique compare-t-il chaque jeton candidat ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. À quelle quantité de base l'échantillonnage typique compare-t-il chaque jeton candidat ?
    • Le contenu informationnel attendu (entropie) de la distribution
    • La taille globale du vocabulaire du modèle
    • La position du jeton dans la phrase
    • Le paramètre de température seul
  2. Comment l'échantillonnage typique traite-t-il le jeton le plus probable ?
    • Il le sélectionne toujours en premier
    • Il peut l'exclure si sa surprise est bien inférieure à la valeur attendue
    • Cela double sa probabilité
    • Il ignore complètement les probabilités
  3. Quelle idée du langage humain a motivé l'échantillonnage typique ?
    • Les humains choisissent toujours les mots les plus rares possibles
    • Les humains ne répètent jamais les mots
    • Les humains communiquent à un rythme d'information à peu près constant
    • Les humains parlent avec des phrases de longueur fixe
  4. Que représente le paramètre tau dans un contrôle d'échantillonnage typique ?
    • Le taux d’apprentissage pendant la formation
    • Le nombre de couches dans le modèle
    • La durée maximale de la peine
    • La masse de probabilité cumulée collectée dans l'ensemble typique
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. Dans quel type de logiciel l'échantillonnage typique est-il généralement exposé aux développeurs ?
    • Applications de feuilles de calcul
    • Bibliothèques d'inférence LLM open source comme Hugging Face Transformers
    • Outils d'édition d'images
    • Moteurs de requête de base de données
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set