Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya ZeRO na Sharded Optimizers

Inashughulikia hatua za ZeRO, kumbukumbu ya hali ya Adam, ukusanyaji wa vigezo, upunguzaji wa gradient, chaguzi za kuhamisha mzigo, na gharama za mawasiliano.

Njia za mwongozo zinazohusianaViboreshaji Sifuri na Vilivyoshirikiwa
Swali 1 ya 8

Je, ZeRO inaondoa upungufu gani ikilinganishwa na usawaziko wa data?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, ZeRO inaondoa upungufu gani ikilinganishwa na usawaziko wa data?
    • Rudufu nakala kamili za hali ya kiboreshaji, viwango vya juu, na vigezo kwenye kila GPU
    • Nakala rudufu za data ya mafunzo kwenye kila GPU
    • Kebo za mtandao zisizohitajika kati ya nodi
    • Hupita za mbele zinazorudiwa juu ya kundi moja
  2. Kwa nini hali ya optimizer mara nyingi ni nguruwe kubwa ya kumbukumbu na Adamu?
    • Adamu huhifadhi hali ya ziada hata kidogo
    • Adam huweka maadili ya ziada kwa kila parameta (kama kasi na tofauti), mara nyingi mara kadhaa ukubwa wa mfano
    • Adam anarudia seti nzima ya data
    • Adamu anahitaji kuhifadhi kila kipenyo cha nyuma milele
  3. Je! Hatua ya 3 ya ZeRO haina nini ambayo Hatua ya 1 na 2 haifanyi?
    • Takwimu za mafunzo
    • Kazi ya kupoteza
    • Vigezo vya mfano wenyewe
    • Ratiba ya kiwango cha kujifunza
  4. Katika Hatua ya 3 ya ZeRO, GPU inapataje vigezo kamili vinavyohitaji kwa safu ya mbele ya kupita?
    • Haihitaji kamwe vigezo kamili
    • Inazipakua kutoka kwa mtandao
    • Inazihesabu kutoka mwanzo kila wakati
    • Hufanya mkusanyo wa kila kitu ili kukusanya vipande vilivyokosekana, kisha kuvitupa baadaye
  5. Ni kipengele gani cha PyTorch ambacho asili yake kinatekelezea kugawanyika kwa mtindo wa ZeRO?
    • FSDP (Uwiano wa Data Iliyoshirikiwa kikamilifu)
    • DataLoader
    • TorchScript
    • Autograd
  6. Je, ZeRO hufanya nini ili kuokoa kumbukumbu?
    • Inatoa dhabihu usahihi wa mfano kwa kasi
    • Inaongeza mawasiliano ya ziada kukusanya na kutawanya shards kama inahitajika
    • Inaondoa tabaka kutoka kwa mfano
    • Inafanya kazi tu na mifano ndogo sana
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients