Kvíz spojený s průvodcem · Střední úroveň
Smíšený tréninkový kvíz přesnosti
Pokrývá rozsah FP16 a škálování ztrát, bfloat16, hlavní váhy, autocast, akumulaci Tensor Core a měřené zisky závislé na hardwaru.
Otázka 1 z 8
In an FP16 training recipe that keeps an FP32 master weight, why retain it?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- In an FP16 training recipe that keeps an FP32 master weight, why retain it?
- Aby byla zachována přesnost v malých aktualizacích hmotnosti, které by 16bitové mohly zaokrouhlit
- Pro zmenšení souboru modelu na disku
- Umožnit trénink bez GPU
- Pro šifrování parametrů modelu
- Jaký problém řeší škálování ztrát v tréninku FP16?
- Modely přeplňující data
- Přechody nedosahují nuly, protože rozsah FP16 je úzký
- Na GPU dochází místo na disku
- Pomalé načítání dat z disku
- Jakou výhodu má bfloat16 oproti FP16?
- Používá méně celkových bitů
- Místo čísel ukládá text
- Má stejně široký rozsah exponentů jako FP32, což snižuje potřebu škálování ztrát
- Běží pouze na CPU
- For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
- In integer arithmetic with no rounding
- In text before converting to FP16
- In FP16 only, which prevents every numerical error
- In FP32, which reduces rounding error compared with low-precision accumulation
- What is a common benefit of using 16-bit values for supported training operations?
- They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
- They guarantee higher model accuracy
- They remove the need to compute gradients
- They always double end-to-end training speed
- Which current PyTorch APIs are commonly used for automatic mixed-precision training?
- torch.cuda.amp only, which is the recommended new namespace
- torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
- torch.load and torch.save
- torch.nn.DataParallel and torch.manual_seed
- Why does bfloat16 often need less loss scaling than FP16?
- It has more mantissa bits than FP32
- It stores gradients as integers
- It has an exponent range like FP32, so very small gradients are less likely to underflow
- It never rounds values
- What does autocast do in automatic mixed precision?
- Converts every tensor and operation to FP16 unconditionally
- Replaces the optimizer with a different algorithm
- Guarantees identical bitwise results to FP32
- Selects operation dtypes so supported operations can use lower precision while others retain safer precision