Quiz lié à un guide · Moyen Niveau

Quiz sur la fusion de modèles

Découvrez comment les points de contrôle de modèle et les vecteurs de tâches compatibles peuvent être combinés, ce que les méthodes de fusion changent et pourquoi chaque résultat doit être évalué.

Chemins de guidage associésFusion de modèles
Question 1 de 8

Que combine principalement la fusion de modèles ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que combine principalement la fusion de modèles ?
    • Les poids (paramètres) de plusieurs modèles
    • Les ensembles de données de formation de plusieurs modèles
    • Les prédictions de sortie de plusieurs modèles au moment de l'inférence
    • Les accélérateurs matériels utilisés pour la formation
  2. Un « vecteur de tâches » est mieux décrit comme :
    • La liste des tâches qu'un modèle peut effectuer
    • La différence entre les poids d'un modèle affiné et les poids de son modèle de base
    • Un vecteur de jetons d'entrée pour une tâche
    • Le gradient calculé lors d'une seule étape d'entraînement
  3. In the described weight-space merging methods, what can be avoided?
    • Evaluation of the merged checkpoint
    • Compatibility requirements between model weights
    • Additional gradient training and access to the original training data
    • Testing the result on intended tasks
  4. How do TIES-Merging and DARE differ in addressing parameter interference?
    • Both use the same sign-voting method and differ only in scale
    • DARE uses prompt engineering while TIES retrains on joint data
    • Both average model outputs instead of changing weights
    • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
  5. Une condition préalable essentielle pour que deux modèles puissent fusionner avec succès est qu'ils :
    • Partagez la même architecture et descendez généralement d'un modèle de base commun
    • Ont été formés sur des données identiques
    • Avoir exactement le même nombre d'étapes de formation
    • Utilisez uniquement la même taille de vocabulaire tokenizer
  6. In task arithmetic, what do coefficients control when combining task vectors?
    • Which tokenizer each checkpoint must use
    • How strongly each parameter-change vector contributes to the merged checkpoint
    • How many training examples are generated
    • Whether an evaluation set is required
  7. What are the three main stages named by TIES-Merging?
    • Tokenize text, infer emotions, and export audio
    • Quantize weights, shard GPUs, and route network packets
    • Trim small changes, elect a sign direction, then merge aligned parameter updates
    • Train a reward model, collect labels, and run PPO
  8. Why should teams evaluate each task after a model merge?
    • Merging guarantees every benchmark improves
    • Evaluation is needed only to calculate the file size
    • A merged model cannot be run without retraining
    • Combining weight updates can create interference or reduce performance on a task