Test legat de ghid · Mediu Nivel

QLoRA și chestionar de reglare fină pe 4 biți

Examinați baza înghețată pe 4 biți ai QLoRA, adaptoare de rang scăzut care se pot antrena, NF4, cuantizare dublă, optimizatori paginați și decuantizare temporară.

Căi de ghidare aferenteQlora și reglaj fin pe 4 biți
Întrebare 1 de 8

Care este ideea de bază de economisire a memoriei din spatele părții „4 biți” a QLoRA?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care este ideea de bază de economisire a memoriei din spatele părții „4 biți” a QLoRA?
    • Cuantifică greutățile modelului de bază înghețat până la 4 biți fiecare
    • Acesta șterge 75% din straturile modelului
    • Antrenează modelul în doar 4 epoci
    • Folosește doar 4 GPU-uri în loc de multe
  2. În timpul reglajului QLoRA, ce parametri sunt actualizați de fapt prin coborârea gradientului?
    • Toate greutățile originale ale modelului
    • Doar matricele mici de adaptoare LoRA de rang scăzut
    • Constantele de cuantizare pe 4 biți
    • Vocabularul tokenizatorului
  3. Ce este NF4 în contextul QLoRA?
    • O rețea neuronală cu 4 straturi
    • Un nou algoritm de optimizare
    • Un tip de date pe 4 biți optimizat pentru greutăți distribuite normal
    • Un format de cluster GPU cu 4 noduri
  4. Ce problemă se adresează „optimizatorii paginați” în QLoRA?
    • Descărcări lente pe internet ale fișierelor model
    • Tokenizare incorectă
    • Supraadaptare pe seturi de date mici
    • Numărul de memorie este crescut în timpul secvențelor lungi
  5. Când sunt convertite greutățile pe 4 biți la o precizie mai mare în timpul antrenamentului?
    • Just-in-time în timpul înmulțirii matricei, apoi aruncat
    • Ei nu sunt niciodată convertiți; matematica se face pe 4 biti
    • O singură dată chiar la începutul antrenamentului
    • Abia după terminarea antrenamentului
  6. Ce a demonstrat documentul original QLoRA despre calitate?
    • Reglarea fină pe 4 biți depășește întotdeauna reglarea fină completă
    • Reglarea fină a unui model 65B pe un singur GPU ar putea corespunde calității de reglare fină completă pe 16 biți
    • Cuantizarea face ca modelele să fie inutile sub 8 biți
    • Doar modelele mici pot fi reglate în acest fel
  7. What does QLoRA’s double-quantization step compress?
    • Vocabularul tokenizer
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks