Quiz collegato alla guida · Medio Livello
Quiz sulla fusione dei modelli
Esplora come è possibile combinare checkpoint di modelli compatibili e vettori di attività, quali metodi di unione cambiano e perché ogni risultato necessita di valutazione.
Domanda 1 di 8
Cosa combina principalmente la fusione dei modelli?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa combina principalmente la fusione dei modelli?
- I pesi (parametri) di più modelli
- I set di dati di training di più modelli
- Le previsioni di output di più modelli al momento dell'inferenza
- Gli acceleratori hardware utilizzati per la formazione
- Un "vettore di attività" è meglio descritto come:
- L'elenco delle attività che un modello può eseguire
- La differenza tra i pesi di un modello ottimizzato e i pesi del modello base
- Un vettore di token di input per un'attività
- Il gradiente calcolato durante una singola fase di allenamento
- In the described weight-space merging methods, what can be avoided?
- Evaluation of the merged checkpoint
- Compatibility requirements between model weights
- Additional gradient training and access to the original training data
- Testing the result on intended tasks
- How do TIES-Merging and DARE differ in addressing parameter interference?
- Both use the same sign-voting method and differ only in scale
- DARE uses prompt engineering while TIES retrains on joint data
- Both average model outputs instead of changing weights
- They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
- Una precondizione chiave affinché due modelli possano essere uniti con successo è che:
- Condividono la stessa architettura e in genere discendono da un modello base comune
- Sono stati addestrati su dati identici
- Avere esattamente lo stesso numero di passaggi di allenamento
- Utilizza solo la stessa dimensione del vocabolario del tokenizzatore
- In task arithmetic, what do coefficients control when combining task vectors?
- Which tokenizer each checkpoint must use
- How strongly each parameter-change vector contributes to the merged checkpoint
- How many training examples are generated
- Whether an evaluation set is required
- What are the three main stages named by TIES-Merging?
- Tokenize text, infer emotions, and export audio
- Quantize weights, shard GPUs, and route network packets
- Trim small changes, elect a sign direction, then merge aligned parameter updates
- Train a reward model, collect labels, and run PPO
- Why should teams evaluate each task after a model merge?
- Merging guarantees every benchmark improves
- Evaluation is needed only to calculate the file size
- A merged model cannot be run without retraining
- Combining weight updates can create interference or reduce performance on a task