Quiz d'échantillonnage Nucleus et Top-k

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Comment l'échantillonnage top-k restreint-il les choix de jetons ?
   • Il ne conserve que les k jetons les plus probables, puis des échantillons parmi eux
   • Il conserve les jetons jusqu'à ce que la probabilité cumulée dépasse k
   • Il sélectionne toujours le jeton le plus probable
   • Il supprime uniquement les k jetons les moins probables
2. Qu'est-ce qui définit le « noyau » dans l'échantillonnage de noyau (top-p) ?
   • Les k mots les plus fréquents dans les données d'entraînement
   • Le plus petit ensemble de jetons dont la somme des probabilités est d'au moins p
   • Le jeton unique ayant la probabilité la plus élevée
   • Tous les jetons avec une probabilité supérieure à 50 %
3. Quel est le principal avantage du top-p par rapport au top-k ?
   • Il est toujours plus rapide de calculer
   • Il ne produit jamais de sortie aléatoire
   • Le nombre de tokens candidats s'adapte à la confiance du modèle
   • Il ignore les probabilités symboliques
4. Que fait le paramètre de température avant l’échantillonnage ?
   • Il définit la longueur maximale de la séquence
   • Il sélectionne la langue de sortie
   • Il compte la taille du vocabulaire
   • Il redimensionne la distribution de probabilité pour la rendre plus nette ou plus plate
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Cela élimine le besoin d’un modèle de langage
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores