Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o kritické velikosti dávky
Prozkoumejte kritickou velikost dávky prostřednictvím počtů aktualizací, zpracovaných příkladů, přechodového šumu, porovnávání doby do cíle a praktických hardwarových limitů.
Otázka 1 z 8
Jaké chování charakterizuje dávky, které výrazně přesahují měřítko kritické dávky trénovací úlohy?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké chování charakterizuje dávky, které výrazně přesahují měřítko kritické dávky trénovací úlohy?
- Additional examples per update give diminishing reductions in required updates
- Training becomes mathematically impossible
- The model always stops fitting in memory
- Each batch doubling must halve elapsed time
- Proč největší dávka, která se vejde do paměti, není nutně kritickou velikostí dávky?
- Memory capacity determines every gradient statistic
- Memory fit and optimization efficiency describe different constraints
- Critical batch size counts only storage bytes
- A fitting batch always minimizes time to target
- At a fixed batch of 256 and 4,000 updates, how many examples are processed?
- 4,256
- 15.625
- 1,024,000
- 512,000
- V uvedeném porovnání vede zvýšení dávky z 256 na 512 ke změně požadovaných aktualizací ze 4 000 na 2 200. Co se stane se zpracovanými příklady?
- They fall by 45%
- They are unchanged
- They double
- They rise from 1,024,000 to 1,126,400, a 10% increase
- Které měření je stále nutné provést před závěrem, že méně trénovacích aktualizací ušetřilo uplynulý čas?
- Actual update or full-run timings on the intended hardware
- Only the checkpoint filename
- Only the parameter count
- Only the first batch’s loss
- Jakou statistiku spojil citovaný výzkum velkých dávek s největším užitečným rozsahem dávek?
- The number of output classes alone
- Gradient noise scale
- The checkpoint file extension
- The number of evaluation reports
- Why should a batch-size comparison state a common performance target?
- The target makes every learning rate equivalent
- It prevents batches from using different amounts of memory
- It lets runs be compared by the resources needed to reach the same goal
- It guarantees every run reaches the global optimum
- Why might a team revisit its batch size later in training?
- The number of bytes in a token always doubles
- A fixed batch stops being legal after one epoch
- Every later batch must be larger
- The useful critical scale can shift with training progress and the target loss