Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Modellösszevonási kvíz
Explore how compatible model checkpoints and task vectors can be combined, what merging methods change, and why each result needs evaluation.
kérdés 1 -ból 8
Mit kombinál elsősorban a modellösszevonás?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit kombinál elsősorban a modellösszevonás?
- Több modell súlya (paraméterei).
- Több modell képzési adatkészletei
- Több modell kimeneti előrejelzései a következtetés időpontjában
- Az edzéshez használt hardveres gyorsítók
- A „feladatvektor” leginkább így írható le:
- A modell által végrehajtható feladatok listája
- A finomhangolt modell súlyai és az alapmodell súlyai közötti különbség
- Egy feladat bemeneti tokenek vektora
- Az egyetlen edzési lépés során számított gradiens
- In the described weight-space merging methods, what can be avoided?
- Evaluation of the merged checkpoint
- Compatibility requirements between model weights
- Additional gradient training and access to the original training data
- Testing the result on intended tasks
- How do TIES-Merging and DARE differ in addressing parameter interference?
- Both use the same sign-voting method and differ only in scale
- DARE uses prompt engineering while TIES retrains on joint data
- Both average model outputs instead of changing weights
- They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
- A két modell sikeres egyesítésének kulcsfontosságú feltétele, hogy:
- Oszd meg ugyanazt az architektúrát, és általában egy közös alapmodellből származnak
- Azonos adatokra képezték ki
- Pontosan ugyanannyi edzési lépés legyen
- Csak ugyanazt a tokenizátor szókincsméretet használja
- In task arithmetic, what do coefficients control when combining task vectors?
- Which tokenizer each checkpoint must use
- How strongly each parameter-change vector contributes to the merged checkpoint
- How many training examples are generated
- Whether an evaluation set is required
- What are the three main stages named by TIES-Merging?
- Tokenize text, infer emotions, and export audio
- Quantize weights, shard GPUs, and route network packets
- Trim small changes, elect a sign direction, then merge aligned parameter updates
- Train a reward model, collect labels, and run PPO
- Why should teams evaluate each task after a model merge?
- Merging guarantees every benchmark improves
- Evaluation is needed only to calculate the file size
- A merged model cannot be run without retraining
- Combining weight updates can create interference or reduce performance on a task