Kvíz spojený s průvodcem · Střední úroveň

QLoRA a 4bitový kvíz jemného ladění

Prohlédněte si zmrazenou 4bitovou základnu QLoRA, trénovatelné adaptéry nízké úrovně, NF4, dvojitou kvantizaci, stránkované optimalizátory a dočasnou dekvantizaci.

Související vodicí cestyQlora a 4bitové jemné doladění
Otázka 1 z 8

Jaká je hlavní myšlenka úspory paměti za '4bitovou' částí QLoRA?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní myšlenka úspory paměti za '4bitovou' částí QLoRA?
    • Kvantuje váhy zmrazeného základního modelu až na 4 bity
    • Odstraní 75 % vrstev modelu
    • Trénuje model pouze ve 4 epochách
    • Místo mnoha používá pouze 4 GPU
  2. Které parametry se během jemného ladění QLoRA skutečně aktualizují sestupem gradientu?
    • Všechny původní váhy modelu
    • Pouze malé matice adaptérů LoRA nízké úrovně
    • 4bitové kvantizační konstanty
    • Slovní zásoba tokenizeru
  3. Co je NF4 v kontextu QLoRA?
    • 4vrstvá neuronová síť
    • Nový optimalizační algoritmus
    • 4bitový datový typ optimalizovaný pro normálně rozložené váhy
    • Formát clusteru GPU se 4 uzly
  4. Jaký problém řeší „stránkované optimalizátory“ v QLoRA?
    • Pomalé stahování souborů modelu z internetu
    • Nesprávná tokenizace
    • Přetěžování u malých datových sad
    • Špičky nedostatku paměti během dlouhých sekvencí
  5. Kdy jsou 4bitové závaží během tréninku převedeny zpět na vyšší přesnost?
    • Just-in-time během násobení matice, pak vyřazeno
    • Nikdy nejsou obráceni; matematika se provádí ve 4 bitech
    • Pouze jednou na začátku tréninku
    • Až po ukončení tréninku
  6. Co prokázal původní papír QLoRA o kvalitě?
    • 4bitové jemné ladění vždy překonává úplné jemné ladění
    • Jemné vyladění 65B modelu na jednom GPU by mohlo odpovídat plné 16bitové kvalitě jemného doladění
    • Kvantování dělá modely pod 8 bity nepoužitelnými
    • Takto lze doladit pouze malinké modely
  7. What does QLoRA’s double-quantization step compress?
    • Slovní zásoba tokenizeru
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks