Mélange de quiz d'experts LoRA

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. À quoi fait référence la partie « LoRA » du mélange d'experts LoRA ?
   • Adaptation de bas rang, qui entraîne de petites matrices de bas rang au lieu de poids complets
   • Un modèle de récompense d’apprentissage par renforcement
   • Un mécanisme d’attention à longue portée
   • Un pipeline de chargement de données pour les adaptateurs
2. Quel est le rôle du réseau de gate/routeur dans MoLE ?
   • Pour compresser les poids du modèle de base
   • Décider quels experts activer et avec quels poids pour une contribution donnée
   • Pour générer des données de formation pour les adaptateurs
   • Pour convertir du texte en intégrations
3. Pourquoi MoLE est-il souvent préférable à la formation d'un seul adaptateur sur de nombreuses tâches mixtes ?
   • Il utilise plus de mémoire GPU de par sa conception
   • Il élimine le besoin de tout modèle de base
   • Il réduit les interférences et les oublis en conservant les compétences chez des experts composables séparés.
   • Cela ne fonctionne que sur une seule langue
4. Dans LoRA, la mise à jour du poids est généralement exprimée comme suit : lequel des éléments suivants ?
   • Une matrice dense complète remplaçant W
   • Un seul multiplicateur scalaire sur W
   • Une matrice de bruit aléatoire ajoutée à chaque étape
   • Le produit de deux matrices de bas rang, B fois A
5. Pendant l'entraînement MoLE, qu'arrive-t-il généralement aux poids pré-entraînés du modèle de base ?
   • Ils restent gelés alors que seuls les adaptateurs et le routeur sont formés
   • Ils sont entièrement reconvertis à partir de zéro
   • Ils sont supprimés et reconstruits
   • Ils sont quantifiés à un bit
6. Dans les modèles d'images de diffusion, quel problème le déclenchement hiérarchique/par couche dans MoLE aide-t-il à résoudre ?
   • Téléchargements Internet lents
   • Plusieurs LoRA conceptuelles se dominent les unes les autres lorsqu'elles sont composées
   • Manque de données de formation
   • Formats de fichiers incorrects
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update