Quiz lié à un guide · Moyen Niveau

LoRA et quiz de réglage efficace des paramètres

Passez en revue les poids LoRA gelés, les économies d’état pouvant être entraînés, le classement, le stockage QLoRA, la fusion compatible, les bases partagées, le nombre de paramètres et la double quantification.

Chemins de guidage associésRéglage efficace de Lora et des paramètres
Question 1 de 8

Dans la formulation LoRA originale pour une matrice de poids sélectionnée, qu'apprend-on pendant que cette matrice reste figée ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Dans la formulation LoRA originale pour une matrice de poids sélectionnée, qu'apprend-on pendant que cette matrice reste figée ?
    • A replacement vocabulary with no weight update
    • Every entry of the full base matrix from random initialization
    • Two factor matrices forming an additive low-rank update
    • A permanent deletion of the entire selected layer
  2. Quels besoins en ressources un nombre réduit de paramètres LoRA pouvant être entraînés peuvent-ils réduire par rapport à un réglage fin complet ?
    • Every base-model computation by definition
    • All activation storage regardless of the training procedure
    • A guaranteed universal percentage of total runtime memory
    • Optimizer-state and task-checkpoint requirements
  3. Que contrôle le rang « r » dans un adaptateur LoRA ?
    • La dimension intérieure des deux matrices de bas rang, définissant la capacité de l'adaptateur
    • Le nombre de couches dans le modèle de base
    • Le taux d’apprentissage pendant la formation
    • Combien de GPU sont requis
  4. Quels choix de stockage et d’adaptation sont combinés dans l’article QLoRA ?
    • Updating every base weight directly as a 4-bit integer gradient
    • A frozen low-bit base with trainable LoRA adapters
    • Removing all adapters and all task data
    • A guarantee that every model fits every consumer GPU
  5. Que peut supprimer une fusion dense compatible d'une mise à jour LoRA du calcul d'inférence de cette couche ?
    • The need to evaluate the base layer at all
    • Every possible dtype compatibility requirement
    • A requirement that all future task updates become identical
    • The need to evaluate a separate adapter branch
  6. Which reuse pattern is supported by storing compatible task adapters separately from a base checkpoint?
    • Every adapter automatically makes every task factually correct
    • All serving systems must switch tasks with zero overhead
    • Multiple task updates can share the same pretrained base
    • The base checkpoint is no longer needed for inference
  7. For a stated 4-by-4 weight update with rank-one factors shaped 4-by-1 and 1-by-4, how many factor parameters are there?
    • Seize
    • Huit
    • Quatre
    • Thirty-two
  8. What does QLoRA's double-quantization technique compress in addition to the base weight representation?
    • The quantization constants
    • Every task label into a second unrelated category
    • The adapter gradients twice by definition
    • A second complete copy of the base model