Kvíz spojený s průvodcem · Střední úroveň
Kvíz o sloučení modelů
Prozkoumejte, jak lze kombinovat kompatibilní kontrolní body modelu a vektory úkolů, jaké metody slučování se mění a proč každý výsledek potřebuje vyhodnocení.
Otázka 1 z 8
Co slučování modelů primárně spojuje?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co slučování modelů primárně spojuje?
- Hmotnosti (parametry) více modelů
- Tréninkové datové sady více modelů
- Předpovědi výstupu více modelů v čase odvození
- Hardwarové akcelerátory používané pro trénink
- „Vektor úkolů“ je nejlépe popsán takto:
- Seznam úkolů, které může model provádět
- Rozdíl mezi hmotností vyladěného modelu a hmotností jeho základního modelu
- Vektor vstupních tokenů pro úkol
- Gradient vypočítaný během jednoho tréninkového kroku
- In the described weight-space merging methods, what can be avoided?
- Evaluation of the merged checkpoint
- Compatibility requirements between model weights
- Additional gradient training and access to the original training data
- Testing the result on intended tasks
- How do TIES-Merging and DARE differ in addressing parameter interference?
- Both use the same sign-voting method and differ only in scale
- DARE uses prompt engineering while TIES retrains on joint data
- Both average model outputs instead of changing weights
- They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
- Klíčovým předpokladem pro úspěšné sloučení dvou modelů je, že:
- Sdílejte stejnou architekturu a obvykle vycházejí ze společného základního modelu
- Byli vyškoleni na identických datech
- Mějte přesně stejný počet tréninkových kroků
- Použijte pouze stejnou velikost slovní zásoby tokenizeru
- In task arithmetic, what do coefficients control when combining task vectors?
- Which tokenizer each checkpoint must use
- How strongly each parameter-change vector contributes to the merged checkpoint
- How many training examples are generated
- Whether an evaluation set is required
- What are the three main stages named by TIES-Merging?
- Tokenize text, infer emotions, and export audio
- Quantize weights, shard GPUs, and route network packets
- Trim small changes, elect a sign direction, then merge aligned parameter updates
- Train a reward model, collect labels, and run PPO
- Why should teams evaluate each task after a model merge?
- Merging guarantees every benchmark improves
- Evaluation is needed only to calculate the file size
- A merged model cannot be run without retraining
- Combining weight updates can create interference or reduce performance on a task