Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor het samenvoegen van modellen
Verken hoe compatibele model-checkpoints en taakvectoren kunnen worden gecombineerd, wat samenvoegmethoden veranderen en waarom elk resultaat evaluatie behoeft.
Vraag 1 van 8
Wat combineert het samenvoegen van modellen in de eerste plaats?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat combineert het samenvoegen van modellen in de eerste plaats?
- De gewichten (parameters) van meerdere modellen
- De trainingsgegevenssets van meerdere modellen
- De uitvoervoorspellingen van meerdere modellen op het moment van inferentie
- De hardwareversnellers die worden gebruikt voor training
- Een 'taakvector' kan het beste worden omschreven als:
- De lijst met taken die een model kan uitvoeren
- Het verschil tussen de gewichten van een verfijnd model en de gewichten van het basismodel
- Een vector van invoertokens voor een taak
- De gradiënt berekend tijdens een enkele trainingsstap
- In de beschreven gewichtsruimte-samenvoegingsmethoden, wat kan worden vermeden?
- Evaluation of the merged checkpoint
- Compatibility requirements between model weights
- Additional gradient training and access to the original training data
- Testing the result on intended tasks
- Hoe verschillen TIES-Merging en DARE in het aanpakken van parameterinterferentie?
- Both use the same sign-voting method and differ only in scale
- DARE uses prompt engineering while TIES retrains on joint data
- Both average model outputs instead of changing weights
- They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
- Een belangrijke voorwaarde voor een succesvolle samenvoeging van twee modellen is dat ze:
- Deel dezelfde architectuur en stamt doorgaans af van een gemeenschappelijk basismodel
- Werden getraind op identieke gegevens
- Zorg voor exact hetzelfde aantal trainingsstappen
- Gebruik alleen dezelfde tokenizer-vocabulairegrootte
- In taak-aritmetiek, wat regelen coëfficiënten bij het combineren van taakvectoren?
- Which tokenizer each checkpoint must use
- How strongly each parameter-change vector contributes to the merged checkpoint
- How many training examples are generated
- Whether an evaluation set is required
- Wat zijn de drie hoofdonderdelen genoemd door TIES-Merging?
- Tokenize text, infer emotions, and export audio
- Quantize weights, shard GPUs, and route network packets
- Trim small changes, elect a sign direction, then merge aligned parameter updates
- Train a reward model, collect labels, and run PPO
- Why should teams evaluate each task after a model merge?
- Merging guarantees every benchmark improves
- Evaluation is needed only to calculate the file size
- A merged model cannot be run without retraining
- Combining weight updates can create interference or reduce performance on a task