Útmutatóhoz kapcsolódó kvíz · Közepes Szint

QLoRA és 4 bites finomhangoló kvíz

Review QLoRA’s frozen 4-bit base, trainable low-rank adapters, NF4, double quantization, paged optimizers, and temporary dequantization.

Kapcsolódó útmutató utakQlora és 4 bites finomhangolás
kérdés 1 -ból 8

Mi az alapvető memóriatakarékossági ötlet a QLoRA „4 bites” része mögött?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az alapvető memóriatakarékossági ötlet a QLoRA „4 bites” része mögött?
    • A fagyasztott alapmodell súlyát egyenként 4 bitre kvantifikálja
    • Törli a modell rétegeinek 75%-át
    • Mindössze 4 korszakban képezi ki a modellt
    • Csak 4 GPU-t használ sok helyett
  2. A QLoRA finomhangolása során mely paraméterek frissülnek ténylegesen a gradiens süllyedéssel?
    • A modell összes eredeti súlya
    • Csak a kis alacsony rangú LoRA adaptermátrixok
    • A 4 bites kvantálási állandók
    • A tokenizátor szókincse
  3. Mi az NF4 a QLoRA kontextusában?
    • 4 rétegű neurális hálózat
    • Egy új optimalizáló algoritmus
    • Normál eloszlású súlyokhoz optimalizált 4 bites adattípus
    • 4 csomópontos GPU-fürt formátum
  4. Milyen problémát oldanak meg a QLoRA-ban a „lapozott optimalizálók”?
    • A modellfájlok lassú internetes letöltése
    • Helytelen tokenizálás
    • Túlillesztés kis adatkészleteken
    • Memóriahiányos tüskék a hosszú sorozatok során
  5. Mikor konvertálják vissza a 4 bites súlyokat nagyobb pontosságra az edzés során?
    • A mátrixszorzás során éppen időben, majd eldobva
    • Soha nem térnek meg; a matematika 4 bitben történik
    • Csak egyszer, az edzés elején
    • Csak az edzés befejezése után
  6. Mit mutatott be az eredeti QLoRA papír a minőségről?
    • A 4 bites finomhangolás mindig felülmúlja a teljes finomhangolást
    • Egy 65B modell egyetlen GPU-n történő finomhangolása megfelel a teljes 16 bites finomhangolási minőségnek
    • A kvantálás használhatatlanná teszi a modelleket 8 bit alatt
    • Csak az apró modelleket lehet így finomhangolni
  7. What does QLoRA’s double-quantization step compress?
    • A tokenizáló szókincs
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks