Útmutatóhoz kapcsolódó kvíz · Közepes Szint
QLoRA és 4 bites finomhangoló kvíz
Review QLoRA’s frozen 4-bit base, trainable low-rank adapters, NF4, double quantization, paged optimizers, and temporary dequantization.
kérdés 1 -ból 8
Mi az alapvető memóriatakarékossági ötlet a QLoRA „4 bites” része mögött?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az alapvető memóriatakarékossági ötlet a QLoRA „4 bites” része mögött?
- A fagyasztott alapmodell súlyát egyenként 4 bitre kvantifikálja
- Törli a modell rétegeinek 75%-át
- Mindössze 4 korszakban képezi ki a modellt
- Csak 4 GPU-t használ sok helyett
- A QLoRA finomhangolása során mely paraméterek frissülnek ténylegesen a gradiens süllyedéssel?
- A modell összes eredeti súlya
- Csak a kis alacsony rangú LoRA adaptermátrixok
- A 4 bites kvantálási állandók
- A tokenizátor szókincse
- Mi az NF4 a QLoRA kontextusában?
- 4 rétegű neurális hálózat
- Egy új optimalizáló algoritmus
- Normál eloszlású súlyokhoz optimalizált 4 bites adattípus
- 4 csomópontos GPU-fürt formátum
- Milyen problémát oldanak meg a QLoRA-ban a „lapozott optimalizálók”?
- A modellfájlok lassú internetes letöltése
- Helytelen tokenizálás
- Túlillesztés kis adatkészleteken
- Memóriahiányos tüskék a hosszú sorozatok során
- Mikor konvertálják vissza a 4 bites súlyokat nagyobb pontosságra az edzés során?
- A mátrixszorzás során éppen időben, majd eldobva
- Soha nem térnek meg; a matematika 4 bitben történik
- Csak egyszer, az edzés elején
- Csak az edzés befejezése után
- Mit mutatott be az eredeti QLoRA papír a minőségről?
- A 4 bites finomhangolás mindig felülmúlja a teljes finomhangolást
- Egy 65B modell egyetlen GPU-n történő finomhangolása megfelel a teljes 16 bites finomhangolási minőségnek
- A kvantálás használhatatlanná teszi a modelleket 8 bit alatt
- Csak az apró modelleket lehet így finomhangolni
- What does QLoRA’s double-quantization step compress?
- A tokenizáló szókincs
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks