Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Vegyes Precíziós Képzési Kvíz
Covers FP16 range and loss scaling, bfloat16, master weights, autocast, Tensor Core accumulation, and measured hardware-dependent gains.
kérdés 1 -ból 8
In an FP16 training recipe that keeps an FP32 master weight, why retain it?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- In an FP16 training recipe that keeps an FP32 master weight, why retain it?
- A pontosság megőrzése érdekében az apró súlyfrissítéseknél, amelyeket a 16 bitesek lekerekíthetnek
- A modellfájl méretének csökkentése a lemezen
- GPU nélküli edzés lehetővé tétele
- A modell paramétereinek titkosítása
- Milyen problémát old meg a veszteségskálázás az FP16 képzésben?
- Az adatokat túlillesztő modellek
- A színátmenetek nullára csökkennek, mert az FP16 tartománya szűk
- A GPU-kból kifogy a lemezterület
- Lassú adatbetöltés a lemezről
- Milyen előnye van a bfloat16-nak az FP16-hoz képest?
- Kevesebb teljes bitet használ
- Számok helyett szöveget tárol
- Ugyanolyan széles kitevő-tartománya van, mint az FP32-nek, csökkentve a veszteségskálázás szükségességét
- Csak CPU-kon fut
- For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
- In integer arithmetic with no rounding
- In text before converting to FP16
- In FP16 only, which prevents every numerical error
- In FP32, which reduces rounding error compared with low-precision accumulation
- What is a common benefit of using 16-bit values for supported training operations?
- They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
- They guarantee higher model accuracy
- They remove the need to compute gradients
- They always double end-to-end training speed
- Which current PyTorch APIs are commonly used for automatic mixed-precision training?
- torch.cuda.amp only, which is the recommended new namespace
- torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
- torch.load and torch.save
- torch.nn.DataParallel and torch.manual_seed
- Why does bfloat16 often need less loss scaling than FP16?
- It has more mantissa bits than FP32
- It stores gradients as integers
- It has an exponent range like FP32, so very small gradients are less likely to underflow
- It never rounds values
- What does autocast do in automatic mixed precision?
- Converts every tensor and operation to FP16 unconditionally
- Replaces the optimizer with a different algorithm
- Guarantees identical bitwise results to FP32
- Selects operation dtypes so supported operations can use lower precision while others retain safer precision