Mit dem Guide verknüpftes Quiz · Mittel Ebene

QLoRA- und 4-Bit-Feinabstimmungsquiz

Sehen Sie sich QLoRAs eingefrorene 4-Bit-Basis, trainierbare Low-Rank-Adapter, NF4, Doppelquantisierung, ausgelagerte Optimierer und temporäre Dequantisierung an.

Verwandte FührungspfadeQlora und 4-Bit-Feinabstimmung
Frage 1 von 8

Was ist die Kernidee zur Speichereinsparung hinter dem „4-Bit“-Teil von QLoRA?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist die Kernidee zur Speichereinsparung hinter dem „4-Bit“-Teil von QLoRA?
    • Es quantisiert die Gewichte des eingefrorenen Basismodells auf jeweils 4 Bit
    • Es löscht 75 % der Ebenen des Modells
    • Es trainiert das Modell in nur 4 Epochen
    • Es werden nur 4 statt vieler GPUs verwendet
  2. Welche Parameter werden während der QLoRA-Feinabstimmung tatsächlich durch den Gradientenabstieg aktualisiert?
    • Alle Originalgewichte des Modells
    • Nur die kleinen LoRA-Adaptermatrizen mit niedrigem Rang
    • Die 4-Bit-Quantisierungskonstanten
    • Das Vokabular des Tokenizers
  3. Was ist NF4 im Kontext von QLoRA?
    • Ein 4-schichtiges neuronales Netzwerk
    • Ein neuer Optimierungsalgorithmus
    • Ein 4-Bit-Datentyp, der für normalverteilte Gewichte optimiert ist
    • Ein GPU-Clusterformat mit 4 Knoten
  4. Welches Problem lösen „ausgelagerte Optimierer“ in QLoRA?
    • Langsame Internet-Downloads von Modelldateien
    • Falsche Tokenisierung
    • Überanpassung bei kleinen Datensätzen
    • Bei langen Sequenzen kommt es zu Speichermangelspitzen
  5. Wann werden die 4-Bit-Gewichte während des Trainings wieder in eine höhere Präzision umgewandelt?
    • Just-in-time während der Matrixmultiplikation, dann verworfen
    • Sie werden nie bekehrt; Die Mathematik erfolgt in 4 Bit
    • Nur einmal gleich zu Beginn des Trainings
    • Erst nach Abschluss des Trainings
  6. Was hat das ursprüngliche QLoRA-Papier in Bezug auf Qualität gezeigt?
    • Die 4-Bit-Feinabstimmung ist immer besser als die vollständige Feinabstimmung
    • Die Feinabstimmung eines 65B-Modells auf einer GPU könnte die volle 16-Bit-Feinabstimmungsqualität erreichen
    • Die Quantisierung macht Modelle unter 8 Bit unbrauchbar
    • Nur winzige Modelle können auf diese Weise feinabgestimmt werden
  7. What does QLoRA’s double-quantization step compress?
    • Das Tokenizer-Vokabular
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks