Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor het samenvoegen van modellen

Verken hoe compatibele model-checkpoints en taakvectoren kunnen worden gecombineerd, wat samenvoegmethoden veranderen en waarom elk resultaat evaluatie behoeft.

Gerelateerde gidspadenModel samenvoegen
Vraag 1 van 8

Wat combineert het samenvoegen van modellen in de eerste plaats?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat combineert het samenvoegen van modellen in de eerste plaats?
    • De gewichten (parameters) van meerdere modellen
    • De trainingsgegevenssets van meerdere modellen
    • De uitvoervoorspellingen van meerdere modellen op het moment van inferentie
    • De hardwareversnellers die worden gebruikt voor training
  2. Een 'taakvector' kan het beste worden omschreven als:
    • De lijst met taken die een model kan uitvoeren
    • Het verschil tussen de gewichten van een verfijnd model en de gewichten van het basismodel
    • Een vector van invoertokens voor een taak
    • De gradiënt berekend tijdens een enkele trainingsstap
  3. In de beschreven gewichtsruimte-samenvoegingsmethoden, wat kan worden vermeden?
    • Evaluation of the merged checkpoint
    • Compatibility requirements between model weights
    • Additional gradient training and access to the original training data
    • Testing the result on intended tasks
  4. Hoe verschillen TIES-Merging en DARE in het aanpakken van parameterinterferentie?
    • Both use the same sign-voting method and differ only in scale
    • DARE uses prompt engineering while TIES retrains on joint data
    • Both average model outputs instead of changing weights
    • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
  5. Een belangrijke voorwaarde voor een succesvolle samenvoeging van twee modellen is dat ze:
    • Deel dezelfde architectuur en stamt doorgaans af van een gemeenschappelijk basismodel
    • Werden getraind op identieke gegevens
    • Zorg voor exact hetzelfde aantal trainingsstappen
    • Gebruik alleen dezelfde tokenizer-vocabulairegrootte
  6. In taak-aritmetiek, wat regelen coëfficiënten bij het combineren van taakvectoren?
    • Which tokenizer each checkpoint must use
    • How strongly each parameter-change vector contributes to the merged checkpoint
    • How many training examples are generated
    • Whether an evaluation set is required
  7. Wat zijn de drie hoofdonderdelen genoemd door TIES-Merging?
    • Tokenize text, infer emotions, and export audio
    • Quantize weights, shard GPUs, and route network packets
    • Trim small changes, elect a sign direction, then merge aligned parameter updates
    • Train a reward model, collect labels, and run PPO
  8. Why should teams evaluate each task after a model merge?
    • Merging guarantees every benchmark improves
    • Evaluation is needed only to calculate the file size
    • A merged model cannot be run without retraining
    • Combining weight updates can create interference or reduce performance on a task