Gids-gekoppelde quiz · Moeilijk Niveau
Optimizer-status offloaden naar CPU en NVMe-quiz
Pas optimizer-offloading-geheugenaccounting, host-updateplaatsing en overdrachtsafwegingen toe, inclusief waarom offloading niet alle GPU-toewijzingen verwijdert.
Vraag 1 van 8
Wat is het primaire doel van het overbrengen van optimalisatiestatussen naar CPU of NVMe?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het primaire doel van het overbrengen van optimalisatiestatussen naar CPU of NVMe?
- Om het model nauwkeuriger te maken
- Om het aantal benodigde trainingsperioden te verminderen
- Om de noodzaak voor gradiënten volledig te elimineren
- Om grotere modellen te passen door schaars GPU-geheugen vrij te maken
- For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- Welke raamwerkfunctie heeft het grootschalige offloaden van optimizers gepopulariseerd?
- Een nieuwe activeringsfunctie
- JPEG-beeldcompressie
- DeepSpeed ZeRO-Offload en ZeRO-Infinity
- Verloop knippen
- Wat zijn de belangrijkste prestatiekosten van het offloaden naar CPU of NVMe?
- Gegevens moeten via langzamere verbindingen zoals PCIe of naar schijf worden verzonden, waardoor latentie ontstaat
- Het model vergeet eerdere training
- De optimizer wordt wiskundig onjuist
- GPU-temperatuur daalt te laag
- Hoe verbergen ontladingssystemen een groot deel van de overdrachtslatentie?
- Door de achterwaartse pass over te slaan
- Door het vooraf ophalen van gegevens te overlappen met doorlopende GPU-berekeningen
- Door slechts één parameter tegelijk te trainen
- Door gemengde precisie uit te schakelen
- Waar wordt in ZeRO-Offload de Adam-optimalisatiestap vaak uitgevoerd?
- Geheel op de NVMe-controller
- Op een afzonderlijk beeldscherm GPU
- Op de CPU, met behulp van de hoofdgewichten en -momenten die daar zijn opgeslagen
- Binnenin de netwerkschakelaar
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time