Quiz lié à un guide · Moyen Niveau

Quiz de formation de précision mixte

Couvre la plage FP16 et la mise à l'échelle des pertes, bfloat16, les poids principaux, la diffusion automatique, l'accumulation de Tensor Core et les gains mesurés en fonction du matériel.

Chemins de guidage associésFormation de précision mixte
Question 1 de 8

In an FP16 training recipe that keeps an FP32 master weight, why retain it?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. In an FP16 training recipe that keeps an FP32 master weight, why retain it?
    • Pour préserver la précision des petites mises à jour de poids que le 16 bits pourrait arrondir
    • Pour réduire la taille du fichier modèle sur le disque
    • Pour permettre l'entraînement sans GPU
    • Pour chiffrer les paramètres du modèle
  2. Quel problème la mise à l’échelle des pertes résout-elle dans la formation FP16 ?
    • Modèles surajustant les données
    • Des gradients descendant jusqu'à zéro car la plage du FP16 est étroite
    • Les GPU manquent d'espace disque
    • Chargement lent des données à partir du disque
  3. Quel avantage bfloat16 a-t-il par rapport au FP16 ?
    • Il utilise moins de bits au total
    • Il stocke du texte au lieu de chiffres
    • Il possède la même large plage d'exposants que le FP32, réduisant ainsi le besoin de mise à l'échelle des pertes.
    • Il ne fonctionne que sur les processeurs
  4. For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
    • In integer arithmetic with no rounding
    • In text before converting to FP16
    • In FP16 only, which prevents every numerical error
    • In FP32, which reduces rounding error compared with low-precision accumulation
  5. What is a common benefit of using 16-bit values for supported training operations?
    • They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
    • They guarantee higher model accuracy
    • They remove the need to compute gradients
    • They always double end-to-end training speed
  6. Which current PyTorch APIs are commonly used for automatic mixed-precision training?
    • torch.cuda.amp only, which is the recommended new namespace
    • torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
    • torch.load and torch.save
    • torch.nn.DataParallel and torch.manual_seed
  7. Why does bfloat16 often need less loss scaling than FP16?
    • It has more mantissa bits than FP32
    • It stores gradients as integers
    • It has an exponent range like FP32, so very small gradients are less likely to underflow
    • It never rounds values
  8. What does autocast do in automatic mixed precision?
    • Converts every tensor and operation to FP16 unconditionally
    • Replaces the optimizer with a different algorithm
    • Guarantees identical bitwise results to FP32
    • Selects operation dtypes so supported operations can use lower precision while others retain safer precision