Gids-gekoppelde quiz · Moeilijk Niveau

Optimizer-status offloaden naar CPU en NVMe-quiz

Pas optimizer-offloading-geheugenaccounting, host-updateplaatsing en overdrachtsafwegingen toe, inclusief waarom offloading niet alle GPU-toewijzingen verwijdert.

Vraag 1 van 8

Wat is het primaire doel van het overbrengen van optimalisatiestatussen naar CPU of NVMe?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het primaire doel van het overbrengen van optimalisatiestatussen naar CPU of NVMe?
    • Om het model nauwkeuriger te maken
    • Om het aantal benodigde trainingsperioden te verminderen
    • Om de noodzaak voor gradiënten volledig te elimineren
    • Om grotere modellen te passen door schaars GPU-geheugen vrij te maken
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Welke raamwerkfunctie heeft het grootschalige offloaden van optimizers gepopulariseerd?
    • Een nieuwe activeringsfunctie
    • JPEG-beeldcompressie
    • DeepSpeed ​​ZeRO-Offload en ZeRO-Infinity
    • Verloop knippen
  4. Wat zijn de belangrijkste prestatiekosten van het offloaden naar CPU of NVMe?
    • Gegevens moeten via langzamere verbindingen zoals PCIe of naar schijf worden verzonden, waardoor latentie ontstaat
    • Het model vergeet eerdere training
    • De optimizer wordt wiskundig onjuist
    • GPU-temperatuur daalt te laag
  5. Hoe verbergen ontladingssystemen een groot deel van de overdrachtslatentie?
    • Door de achterwaartse pass over te slaan
    • Door het vooraf ophalen van gegevens te overlappen met doorlopende GPU-berekeningen
    • Door slechts één parameter tegelijk te trainen
    • Door gemengde precisie uit te schakelen
  6. Waar wordt in ZeRO-Offload de Adam-optimalisatiestap vaak uitgevoerd?
    • Geheel op de NVMe-controller
    • Op een afzonderlijk beeldscherm GPU
    • Op de CPU, met behulp van de hoofdgewichten en -momenten die daar zijn opgeslagen
    • Binnenin de netwerkschakelaar
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time