Kvíz spojený s průvodcem · Střední úroveň
QLoRA a 4bitový kvíz jemného ladění
Prohlédněte si zmrazenou 4bitovou základnu QLoRA, trénovatelné adaptéry nízké úrovně, NF4, dvojitou kvantizaci, stránkované optimalizátory a dočasnou dekvantizaci.
Otázka 1 z 8
Jaká je hlavní myšlenka úspory paměti za '4bitovou' částí QLoRA?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní myšlenka úspory paměti za '4bitovou' částí QLoRA?
- Kvantuje váhy zmrazeného základního modelu až na 4 bity
- Odstraní 75 % vrstev modelu
- Trénuje model pouze ve 4 epochách
- Místo mnoha používá pouze 4 GPU
- Které parametry se během jemného ladění QLoRA skutečně aktualizují sestupem gradientu?
- Všechny původní váhy modelu
- Pouze malé matice adaptérů LoRA nízké úrovně
- 4bitové kvantizační konstanty
- Slovní zásoba tokenizeru
- Co je NF4 v kontextu QLoRA?
- 4vrstvá neuronová síť
- Nový optimalizační algoritmus
- 4bitový datový typ optimalizovaný pro normálně rozložené váhy
- Formát clusteru GPU se 4 uzly
- Jaký problém řeší „stránkované optimalizátory“ v QLoRA?
- Pomalé stahování souborů modelu z internetu
- Nesprávná tokenizace
- Přetěžování u malých datových sad
- Špičky nedostatku paměti během dlouhých sekvencí
- Kdy jsou 4bitové závaží během tréninku převedeny zpět na vyšší přesnost?
- Just-in-time během násobení matice, pak vyřazeno
- Nikdy nejsou obráceni; matematika se provádí ve 4 bitech
- Pouze jednou na začátku tréninku
- Až po ukončení tréninku
- Co prokázal původní papír QLoRA o kvalitě?
- 4bitové jemné ladění vždy překonává úplné jemné ladění
- Jemné vyladění 65B modelu na jednom GPU by mohlo odpovídat plné 16bitové kvalitě jemného doladění
- Kvantování dělá modely pod 8 bity nepoužitelnými
- Takto lze doladit pouze malinké modely
- What does QLoRA’s double-quantization step compress?
- Slovní zásoba tokenizeru
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks