Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya Rafu za Mafunzo ya DeepSpeed na Megatron

Hukagua hatua za kugawanyika kwa ZeRO, ulinganifu wa tensor na bomba, uanzishaji wa ukaguzi, upakiaji na mafunzo ya pamoja ya 3D.

Njia za mwongozo zinazohusianaRafu za Mafunzo ya Deepspeed na Megatron
Swali 1 ya 8

Ni nini madhumuni ya msingi ya kiboreshaji cha ZeRO cha DeepSpeed?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Ni nini madhumuni ya msingi ya kiboreshaji cha ZeRO cha DeepSpeed?
    • Ili kugawanya hali za viboreshaji, gradient na vigezo kwenye GPU ili kuhifadhi kumbukumbu
    • Ili kubana mfano wa mwisho kwa kupelekwa
    • Ili kutafsiri mifano kati ya mifumo
    • Kuweka lebo kiotomatiki data ya mafunzo
  2. Usambamba wa kidhibiti, kama utangulizi katika Megatron-LM, unagawanya kielelezo jinsi gani?
    • Kwa kuweka tabaka tofauti kwenye GPU tofauti
    • Kwa kukata matrix ya kuzidisha ndani ya safu kwenye GPU
    • Kwa kuipa kila GPU kundi tofauti la data
    • Kwa kuhifadhi hatua tofauti za wakati kwenye GPU tofauti
  3. Usambamba wa bomba hutofautiana na usambamba wa tensor kwa sababu hugawanya modeli kwa:
    • Slicing matrices ndani ya kila safu
    • Kunakili muundo mzima kwenye kila GPU
    • Kukabidhi tabaka (hatua) tofauti kwa GPU tofauti
    • Kupima uzito ili kupunguza usahihi
  4. Je, ni hatua gani ya ZeRO hutoa uokoaji mkubwa wa kumbukumbu kwa kugawanya vigezo vya mfano wenyewe?
    • Hatua ya 1
    • Hatua ya 2
    • Hatua ya 0
    • Hatua ya 3
  5. Je, 'uwekaji ukaguzi wa uwezeshaji' unauza nini ili kuhifadhi kumbukumbu wakati wa mafunzo?
    • Kokotoa ziada, kwa kukokotoa uanzishaji upya wakati wa kupita nyuma
    • Usahihi wa mfano
    • Bandwidth ya mtandao
    • Idadi ya tabaka
  6. Kwa nini kuchanganya mbinu hizi mara nyingi huitwa 'usambamba wa 3D'?
    • Inafanya kazi tu kwenye kadi za michoro za 3D
    • Inachanganya data, tensor, na usawa wa bomba pamoja na shoka tatu
    • Inatumia GPU tatu za juu zaidi
    • Inatoa mifano katika vipimo vitatu
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Hatua ya 0
    • Hatua ya 2
    • Hatua ya 1
    • Hatua ya 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget