Quiz de décodage contrastif

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Dans le décodage contrastif, quel rôle joue le petit modèle « amateur » ?
   • Ses log-probabilités sont soustraites pour supprimer les modes de défaillance partagés
   • Il génère directement le texte de sortie final
   • Il est affiné sur les erreurs de l'expert
   • Il remplace l'expert lorsque celui-ci est incertain
2. Pourquoi la soustraction des probabilités de l'amateur réduit-elle la répétition et le rendement fade ?
   • L'amateur est entraîné à ne jamais répéter les mots
   • Les jetons génériques et répétitifs sont favorisés par les deux modèles, le contraste les annule donc
   • L'amateur supprime les jetons en double après génération
   • La répétition est impossible une fois que deux modèles votent
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. En gros, quelle est la formule de notation en décodage contrastif ?
   • log p_amateur moins log p_expert
   • p_expert fois p_amateur
   • La moyenne des deux probabilités
   • log p_expert moins un coefficient multiplié par log p_amateur
5. Un avantage pratique clé du décodage contrastif est qu’il :
   • Fonctionne au moment de l'inférence sans formation supplémentaire
   • Nécessite de recycler les deux modèles conjointement
   • Fonctionne uniquement sur les tâches de classification
   • Élimine le besoin d'un grand modèle
6. Quelle méthode ultérieure étend l'idée contrastive aux propres couches d'un modèle unique ?
   • Recherche de faisceau
   • DoLa, qui contraste les couches précoces et tardives
   • Décodage gourmand
   • Échelle de température
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0,4
   • 0,1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time