Gids-gekoppelde quiz · Middelmatig Niveau

QLoRA en 4-bits fijnafstemmingsquiz

Bekijk de bevroren 4-bits basis van QLoRA, trainbare low-rank adapters, NF4, dubbele kwantisering, paged optimizers en tijdelijke dekwantisering.

Gerelateerde gidspadenQlora en 4-bits fijnafstemming
Vraag 1 van 8

Wat is het kerngeheugenbesparende idee achter het '4-bit'-gedeelte van QLoRA?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het kerngeheugenbesparende idee achter het '4-bit'-gedeelte van QLoRA?
    • Het kwantiseert de gewichten van het bevroren basismodel tot 4 bits elk
    • Het verwijdert 75% van de lagen van het model
    • Het traint het model in slechts 4 tijdperken
    • Het gebruikt slechts 4 GPU's in plaats van veel
  2. Welke parameters worden tijdens QLoRA-verfijning daadwerkelijk bijgewerkt door gradiëntdaling?
    • Alle originele gewichten van het model
    • Alleen de kleine LoRA-adaptermatrices van lage kwaliteit
    • De 4-bit kwantiseringsconstanten
    • De woordenschat van de tokenizer
  3. Wat is NF4 in de context van QLoRA?
    • Een neuraal netwerk met vier lagen
    • Een nieuw optimalisatie-algoritme
    • Een 4-bits gegevenstype dat is geoptimaliseerd voor normaal verdeelde gewichten
    • Een GPU-clusterformaat met 4 knooppunten
  4. Welk probleem pakken 'paging optimizers' in QLoRA aan?
    • Trage internetdownloads van modelbestanden
    • Onjuiste tokenisatie
    • Overfitting op kleine datasets
    • Onvoldoende geheugen piekt tijdens lange reeksen
  5. Wanneer worden de 4-bits gewichten tijdens de training weer omgezet naar hogere precisie?
    • Just-in-time tijdens de matrixvermenigvuldiging en vervolgens weggegooid
    • Ze worden nooit bekeerd; wiskunde wordt gedaan in 4 bits
    • Slechts één keer, helemaal aan het begin van de training
    • Pas nadat de training is voltooid
  6. Wat liet het originele QLoRA-paper zien over kwaliteit?
    • 4-bits fijnafstemming is altijd beter dan volledige fijnafstemming
    • Het verfijnen van een 65B-model op één GPU kan de volledige 16-bits fijnafstemmingskwaliteit evenaren
    • Kwantisering maakt modellen onbruikbaar onder de 8 bits
    • Alleen kleine modellen kunnen op deze manier worden verfijnd
  7. What does QLoRA’s double-quantization step compress?
    • De tokenizer-vocabulaire
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks