Quiz collegato alla guida · Medio Livello

Quiz sulla fusione dei modelli

Esplora come è possibile combinare checkpoint di modelli compatibili e vettori di attività, quali metodi di unione cambiano e perché ogni risultato necessita di valutazione.

Percorsi guida correlatiUnione dei modelli
Domanda 1 di 8

Cosa combina principalmente la fusione dei modelli?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa combina principalmente la fusione dei modelli?
    • I pesi (parametri) di più modelli
    • I set di dati di training di più modelli
    • Le previsioni di output di più modelli al momento dell'inferenza
    • Gli acceleratori hardware utilizzati per la formazione
  2. Un "vettore di attività" è meglio descritto come:
    • L'elenco delle attività che un modello può eseguire
    • La differenza tra i pesi di un modello ottimizzato e i pesi del modello base
    • Un vettore di token di input per un'attività
    • Il gradiente calcolato durante una singola fase di allenamento
  3. In the described weight-space merging methods, what can be avoided?
    • Evaluation of the merged checkpoint
    • Compatibility requirements between model weights
    • Additional gradient training and access to the original training data
    • Testing the result on intended tasks
  4. How do TIES-Merging and DARE differ in addressing parameter interference?
    • Both use the same sign-voting method and differ only in scale
    • DARE uses prompt engineering while TIES retrains on joint data
    • Both average model outputs instead of changing weights
    • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
  5. Una precondizione chiave affinché due modelli possano essere uniti con successo è che:
    • Condividono la stessa architettura e in genere discendono da un modello base comune
    • Sono stati addestrati su dati identici
    • Avere esattamente lo stesso numero di passaggi di allenamento
    • Utilizza solo la stessa dimensione del vocabolario del tokenizzatore
  6. In task arithmetic, what do coefficients control when combining task vectors?
    • Which tokenizer each checkpoint must use
    • How strongly each parameter-change vector contributes to the merged checkpoint
    • How many training examples are generated
    • Whether an evaluation set is required
  7. What are the three main stages named by TIES-Merging?
    • Tokenize text, infer emotions, and export audio
    • Quantize weights, shard GPUs, and route network packets
    • Trim small changes, elect a sign direction, then merge aligned parameter updates
    • Train a reward model, collect labels, and run PPO
  8. Why should teams evaluate each task after a model merge?
    • Merging guarantees every benchmark improves
    • Evaluation is needed only to calculate the file size
    • A merged model cannot be run without retraining
    • Combining weight updates can create interference or reduce performance on a task