Quiz lié à un guide · Moyen Niveau

Quiz sur le réglage des préfixes

Évaluez l'approche de base gelée du réglage des préfixes, les économies de paramètres par tâche, le placement de la couche d'attention et les résultats sur les tâches de génération de langage naturel.

Chemins de guidage associésRéglage du préfixe
Question 1 de 8

Qu'est-ce que le réglage des préfixes entraîne réellement ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce que le réglage des préfixes entraîne réellement ?
    • Tous les poids du transformateur du modèle
    • Uniquement la couche de vocabulaire de sortie du modèle
    • Une copie distincte du modèle pour chaque tâche
    • Un petit ensemble de vecteurs de préfixes continus tandis que le modèle reste figé
  2. Où sont injectés les vecteurs de préfixes ?
    • Dans les clés et les valeurs à chaque niveau d'attention
    • Uniquement au niveau de la couche de sortie finale
    • Dans la fonction de perte uniquement
    • Dans le tokenizer avant l'intégration
  3. Qui a introduit le réglage des préfixes et à peu près quand ?
    • OpenAI en 2018
    • Li et Liang à Stanford en 2021
    • Google en 2015
    • Meta en 2023
  4. Pourquoi le réglage des préfixes est-il intéressant pour effectuer de nombreuses tâches ?
    • Cela ne nécessite aucune donnée de formation
    • L'inférence ne s'exécute sur aucun matériel
    • Chaque tâche ne nécessite qu'un petit préfixe au lieu d'une copie complète du modèle
    • Il réécrit de manière permanente le modèle de base pour toutes les tâches à la fois
  5. Quelle astuce est souvent utilisée pour stabiliser la formation des préfixes ?
    • Doubler le taux d'apprentissage à chaque étape
    • Geler le préfixe et entraîner le modèle
    • Supprimer toutes les couches d'attention
    • Reparamétrer le préfixe via un petit réseau de rétroaction qui est ensuite rejeté
  6. Sur quel type de tâche le réglage des préfixes a-t-il particulièrement brillé ?
    • Génération de langage naturel comme la conversion de table en texte et le résumé
    • Classement des images
    • Synthèse de forme d'onde audio
    • Indexation de base de données
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Environ 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter