Quiz lié à un guide · Moyen Niveau

Couches d'adaptateur pour le quiz de transfert

Vérifiez comment les adaptateurs de goulot d'étranglement préservent un modèle de base gelé, permettent le transfert de tâches ou de domaines modulaires et comparez-les avec LoRA.

Chemins de guidage associésCouches d'adaptateur pour le transfert
Question 1 de 8

Qu'arrive-t-il aux poids pré-entraînés d'origine lors d'un entraînement avec des adaptateurs ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'arrive-t-il aux poids pré-entraînés d'origine lors d'un entraînement avec des adaptateurs ?
    • Ils sont gelés alors que seuls les paramètres de l'adaptateur sont entraînés
    • Ils sont supprimés
    • Ils sont réinitialisés aléatoirement
    • Ils sont doublés de taille
  2. Quelle est la structure interne typique d’un adaptateur de goulot d’étranglement ?
    • Une seule énorme couche dense
    • Une projection vers le bas, une non-linéarité, puis une projection vers le haut, avec une connexion résiduelle
    • Seulement une tête d'attention
    • Un filtre d'image convolutif
  3. Quelle fraction environ des paramètres les adaptateurs entraînent-ils généralement ?
    • 100%
    • Exactement 50%
    • Souvent inférieur à 5%
    • Aucun du tout
  4. Pourquoi les adaptateurs sont-ils pratiques pour effectuer de nombreuses tâches ?
    • Ils nécessitent une copie complète du modèle par tâche
    • Ils ne peuvent pas être combinés
    • Ils effacent le modèle de base après chaque tâche
    • Vous conservez un modèle de base et échangez de petits adaptateurs par tâche
  5. À quelle famille de techniques appartiennent les adaptateurs ?
    • Ajustement précis des paramètres (PEFT)
    • Augmentation des données
    • Compression d'images
    • Schémas de tokenisation
  6. Quel avantage LoRA offre-t-il par rapport à un adaptateur inséré classique au moment de l'inférence ?
    • Il ne peut pas être formé
    • Ses poids appris peuvent être fusionnés dans les matrices de base, évitant ainsi une latence supplémentaire par couche
    • Cela nécessite de recycler l’ensemble du modèle
    • Il supprime définitivement la connexion résiduelle
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization