Gids-gekoppelde quiz · Middelmatig Niveau
QLoRA en 4-bits fijnafstemmingsquiz
Bekijk de bevroren 4-bits basis van QLoRA, trainbare low-rank adapters, NF4, dubbele kwantisering, paged optimizers en tijdelijke dekwantisering.
Vraag 1 van 8
Wat is het kerngeheugenbesparende idee achter het '4-bit'-gedeelte van QLoRA?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het kerngeheugenbesparende idee achter het '4-bit'-gedeelte van QLoRA?
- Het kwantiseert de gewichten van het bevroren basismodel tot 4 bits elk
- Het verwijdert 75% van de lagen van het model
- Het traint het model in slechts 4 tijdperken
- Het gebruikt slechts 4 GPU's in plaats van veel
- Welke parameters worden tijdens QLoRA-verfijning daadwerkelijk bijgewerkt door gradiëntdaling?
- Alle originele gewichten van het model
- Alleen de kleine LoRA-adaptermatrices van lage kwaliteit
- De 4-bit kwantiseringsconstanten
- De woordenschat van de tokenizer
- Wat is NF4 in de context van QLoRA?
- Een neuraal netwerk met vier lagen
- Een nieuw optimalisatie-algoritme
- Een 4-bits gegevenstype dat is geoptimaliseerd voor normaal verdeelde gewichten
- Een GPU-clusterformaat met 4 knooppunten
- Welk probleem pakken 'paging optimizers' in QLoRA aan?
- Trage internetdownloads van modelbestanden
- Onjuiste tokenisatie
- Overfitting op kleine datasets
- Onvoldoende geheugen piekt tijdens lange reeksen
- Wanneer worden de 4-bits gewichten tijdens de training weer omgezet naar hogere precisie?
- Just-in-time tijdens de matrixvermenigvuldiging en vervolgens weggegooid
- Ze worden nooit bekeerd; wiskunde wordt gedaan in 4 bits
- Slechts één keer, helemaal aan het begin van de training
- Pas nadat de training is voltooid
- Wat liet het originele QLoRA-paper zien over kwaliteit?
- 4-bits fijnafstemming is altijd beter dan volledige fijnafstemming
- Het verfijnen van een 65B-model op één GPU kan de volledige 16-bits fijnafstemmingskwaliteit evenaren
- Kwantisering maakt modellen onbruikbaar onder de 8 bits
- Alleen kleine modellen kunnen op deze manier worden verfijnd
- What does QLoRA’s double-quantization step compress?
- De tokenizer-vocabulaire
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks