Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor gemengde precisietraining
Behandelt FP16-bereik en loss scaling, bfloat16, master weights, autocast, Tensor Core-accumulatie en gemeten hardware-afhankelijke winsten.
Vraag 1 van 8
In an FP16 training recipe that keeps an FP32 master weight, why retain it?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- In an FP16 training recipe that keeps an FP32 master weight, why retain it?
- Om de precisie te behouden in kleine gewichtsupdates die 16-bits kunnen afronden
- Om het modelbestand kleiner te maken op schijf
- Om training zonder GPU mogelijk te maken
- Om de modelparameters te coderen
- Welk probleem lost verliesschaling op in FP16-training?
- Modellen passen de gegevens te veel aan
- Hellingen lopen terug naar nul omdat het bereik van FP16 smal is
- GPU's hebben onvoldoende schijfruimte
- Langzaam laden van gegevens vanaf schijf
- Welk voordeel heeft bfloat16 ten opzichte van FP16?
- Het gebruikt minder totale bits
- Het slaat tekst op in plaats van cijfers
- Het heeft hetzelfde brede exponentbereik als FP32, waardoor de noodzaak voor verliesschaling afneemt
- Het draait alleen op CPU's
- For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
- In integer arithmetic with no rounding
- In text before converting to FP16
- In FP16 only, which prevents every numerical error
- In FP32, which reduces rounding error compared with low-precision accumulation
- What is a common benefit of using 16-bit values for supported training operations?
- They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
- They guarantee higher model accuracy
- They remove the need to compute gradients
- They always double end-to-end training speed
- Which current PyTorch APIs are commonly used for automatic mixed-precision training?
- torch.cuda.amp only, which is the recommended new namespace
- torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
- torch.load and torch.save
- torch.nn.DataParallel and torch.manual_seed
- Why does bfloat16 often need less loss scaling than FP16?
- It has more mantissa bits than FP32
- It stores gradients as integers
- It has an exponent range like FP32, so very small gradients are less likely to underflow
- It never rounds values
- What does autocast do in automatic mixed precision?
- Converts every tensor and operation to FP16 unconditionally
- Replaces the optimizer with a different algorithm
- Guarantees identical bitwise results to FP32
- Selects operation dtypes so supported operations can use lower precision while others retain safer precision