Quiz collegato alla guida · Medio Livello
Quiz di allenamento di precisione mista
Copre l'intervallo FP16 e il ridimensionamento delle perdite, bfloat16, pesi principali, autocast, accumulo di Tensor Core e guadagni misurati dipendenti dall'hardware.
Domanda 1 di 8
In an FP16 training recipe that keeps an FP32 master weight, why retain it?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In an FP16 training recipe that keeps an FP32 master weight, why retain it?
- Per preservare la precisione negli aggiornamenti di peso minimi che 16 bit potrebbero arrotondare
- Per ridurre le dimensioni del file del modello sul disco
- Per consentire l'allenamento senza GPU
- Per crittografare i parametri del modello
- Quale problema risolve il ridimensionamento delle perdite nella formazione FP16?
- Modelli che adattano eccessivamente i dati
- Pendenze inferiori allo zero perché il range del 16° PQ è ristretto
- GPU a corto di spazio su disco
- Caricamento lento dei dati dal disco
- Che vantaggio ha bfloat16 rispetto a FP16?
- Utilizza meno bit totali
- Memorizza testo invece di numeri
- Ha lo stesso ampio intervallo di esponenti di FP32, riducendo la necessità di ridimensionamento delle perdite
- Funziona solo su CPU
- For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
- In integer arithmetic with no rounding
- In text before converting to FP16
- In FP16 only, which prevents every numerical error
- In FP32, which reduces rounding error compared with low-precision accumulation
- What is a common benefit of using 16-bit values for supported training operations?
- They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
- They guarantee higher model accuracy
- They remove the need to compute gradients
- They always double end-to-end training speed
- Which current PyTorch APIs are commonly used for automatic mixed-precision training?
- torch.cuda.amp only, which is the recommended new namespace
- torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
- torch.load and torch.save
- torch.nn.DataParallel and torch.manual_seed
- Why does bfloat16 often need less loss scaling than FP16?
- It has more mantissa bits than FP32
- It stores gradients as integers
- It has an exponent range like FP32, so very small gradients are less likely to underflow
- It never rounds values
- What does autocast do in automatic mixed precision?
- Converts every tensor and operation to FP16 unconditionally
- Replaces the optimizer with a different algorithm
- Guarantees identical bitwise results to FP32
- Selects operation dtypes so supported operations can use lower precision while others retain safer precision