Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o kritické velikosti dávky

Prozkoumejte kritickou velikost dávky prostřednictvím počtů aktualizací, zpracovaných příkladů, přechodového šumu, porovnávání doby do cíle a praktických hardwarových limitů.

Související vodicí cestyKritická velikost dávky
Otázka 1 z 8

Jaké chování charakterizuje dávky, které výrazně přesahují měřítko kritické dávky trénovací úlohy?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké chování charakterizuje dávky, které výrazně přesahují měřítko kritické dávky trénovací úlohy?
    • Additional examples per update give diminishing reductions in required updates
    • Training becomes mathematically impossible
    • The model always stops fitting in memory
    • Each batch doubling must halve elapsed time
  2. Proč největší dávka, která se vejde do paměti, není nutně kritickou velikostí dávky?
    • Memory capacity determines every gradient statistic
    • Memory fit and optimization efficiency describe different constraints
    • Critical batch size counts only storage bytes
    • A fitting batch always minimizes time to target
  3. At a fixed batch of 256 and 4,000 updates, how many examples are processed?
    • 4,256
    • 15.625
    • 1,024,000
    • 512,000
  4. V uvedeném porovnání vede zvýšení dávky z 256 na 512 ke změně požadovaných aktualizací ze 4 000 na 2 200. Co se stane se zpracovanými příklady?
    • They fall by 45%
    • They are unchanged
    • They double
    • They rise from 1,024,000 to 1,126,400, a 10% increase
  5. Které měření je stále nutné provést před závěrem, že méně trénovacích aktualizací ušetřilo uplynulý čas?
    • Actual update or full-run timings on the intended hardware
    • Only the checkpoint filename
    • Only the parameter count
    • Only the first batch’s loss
  6. Jakou statistiku spojil citovaný výzkum velkých dávek s největším užitečným rozsahem dávek?
    • The number of output classes alone
    • Gradient noise scale
    • The checkpoint file extension
    • The number of evaluation reports
  7. Why should a batch-size comparison state a common performance target?
    • The target makes every learning rate equivalent
    • It prevents batches from using different amounts of memory
    • It lets runs be compared by the resources needed to reach the same goal
    • It guarantees every run reaches the global optimum
  8. Why might a team revisit its batch size later in training?
    • The number of bytes in a token always doubles
    • A fixed batch stops being legal after one epoch
    • Every later batch must be larger
    • The useful critical scale can shift with training progress and the target loss