Quiz lié à un guide · Moyen Niveau

QLoRA et quiz de réglage fin 4 bits

Passez en revue la base 4 bits gelée de QLoRA, les adaptateurs de bas rang entraînables, NF4, la double quantification, les optimiseurs paginés et la déquantification temporaire.

Chemins de guidage associésQlora et réglage fin 4 bits
Question 1 de 8

Quelle est l'idée principale d'économie de mémoire derrière la partie « 4 bits » de QLoRA ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est l'idée principale d'économie de mémoire derrière la partie « 4 bits » de QLoRA ?
    • Il quantifie les poids du modèle de base gelé jusqu'à 4 bits chacun
    • Il supprime 75% des calques du modèle
    • Il entraîne le modèle en seulement 4 époques
    • Il utilise seulement 4 GPU au lieu de plusieurs
  2. Lors du réglage fin de QLoRA, quels paramètres sont réellement mis à jour par descente de gradient ?
    • Tous les poids d'origine du modèle
    • Seules les petites matrices d'adaptateur LoRA de bas rang
    • Les constantes de quantification 4 bits
    • Le vocabulaire du tokenizer
  3. Qu’est-ce que NF4 dans le contexte de QLoRA ?
    • Un réseau neuronal à 4 couches
    • Un nouvel algorithme d'optimisation
    • Un type de données 4 bits optimisé pour les poids normalement distribués
    • Un format de cluster GPU à 4 nœuds
  4. Quel problème les « optimiseurs paginés » dans QLoRA résolvent-ils ?
    • Téléchargements Internet lents des fichiers de modèles
    • Tokenisation incorrecte
    • Surapprentissage sur de petits ensembles de données
    • Pics de manque de mémoire lors de longues séquences
  5. Quand les poids 4 bits sont-ils reconvertis en une plus grande précision pendant l'entraînement ?
    • Juste à temps lors de la multiplication matricielle, puis rejeté
    • Ils ne sont jamais convertis ; les maths se font en 4 bits
    • Une seule fois au tout début de l'entraînement
    • Seulement une fois la formation terminée
  6. Qu'est-ce que le document QLoRA original a démontré sur la qualité ?
    • Le réglage fin 4 bits bat toujours le réglage fin complet
    • Le réglage fin d'un modèle 65B sur un GPU pourrait correspondre à une qualité de réglage complète de 16 bits
    • La quantification rend les modèles inutiles en dessous de 8 bits
    • Seuls les petits modèles peuvent être ajustés de cette façon
  7. What does QLoRA’s double-quantization step compress?
    • Le vocabulaire du tokenizer
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks