Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya Usambamba wa Tensor kwa Miundo Kubwa

Hukagua jinsi ulinganifu wa tensor hupasua safu za safu, huchanganya matokeo kidogo, hugawanya vichwa vya umakini na kutoshea katika usambamba wa mhimili mingi.

Njia za mwongozo zinazohusianaUlinganifu wa Tensor Kwa Modeli Kubwa
Swali 1 ya 8

Usambamba wa tensor unagawanyika nini kwenye GPU?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Usambamba wa tensor unagawanyika nini kwenye GPU?
    • Matrices ya uzito ndani ya safu moja
    • Safu zote zimewekwa kwenye GPU tofauti
    • Seti tofauti za mafunzo
    • Kiwango cha kujifunza cha optimizer
  2. Katika mgawanyiko wa MLP wa mtindo wa Megatron, matiti mawili ya uzani hugawanywaje ili kupunguza mawasiliano?
    • Zote mbili kulingana na safu
    • Kwanza kulingana na safu wima, safu ya pili - kulingana na safu
    • Zote mbili kwa busara
    • Hazijagawanywa hata kidogo
  3. Kwa nini usawa wa tensor kawaida huwekwa ndani ya nodi moja?
    • Nodi haziwezi kuendesha GPU
    • GPU katika nodi tofauti hutumia hesabu tofauti
    • Inahitaji mawasiliano ya mara kwa mara ya kipimo data cha juu kinachohudumiwa vyema na NVLink
    • Ni hitaji la kisheria
  4. Je, utaratibu wa uangalizi kawaida husawazishwa vipi chini ya usawa wa tensor?
    • Kwa kutoa kila GPU hesabu kamili ya umakini
    • Kwa kuruka umakini kabisa
    • Kwa kugeuza usikivu kuwa convolution
    • Kwa kugawanya vichwa vya umakini, kila GPU inashughulikia kitengo kidogo
  5. Ni operesheni gani ya pamoja ambayo kawaida huchanganya matokeo ya sehemu katika usawa wa tensor?
    • Kupunguza yote
    • Nakala ya faili
    • Kujiunga kwa hifadhidata
    • Utaftaji wa DNS
  6. Je, usambamba wa tensor kawaida hulingana na 'usambamba wa 3D'?
    • Inachukua nafasi ya aina nyingine zote za usambamba
    • Imeunganishwa na bomba na usawa wa data
    • Inafanya kazi tu bila usawa mwingine wowote
    • Inatumika tu kwa mifano ya picha
  7. Baada ya kizigeu cha busara cha matrix ya pili ya MLP, kwa nini ni lazima GPU zichanganye matokeo kiasi?
    • GPU kila moja ina kiboreshaji tofauti
    • Matokeo yake ni uwezekano wa msamiati ambao unapaswa kupangwa
    • Kila GPU ilikokotoa mchango kwa sehemu sawa, kwa hivyo vipande lazima vijumuishwe
    • Muundo unahitaji wastani wa hifadhidata tofauti
  8. Kwa nini inaweza kuunganisha latency kikomo cha tensor-sambamba katika nodi za mbali?
    • Usambamba wa kidhibiti kamwe hauwasiliani kati ya GPU
    • Mask ya tahadhari lazima inakiliwa baada ya kila ishara
    • Kila GPU hufunza modeli tofauti
    • Mikusanyiko inahitajika mara kwa mara ndani ya tabaka, kwa hivyo utulivu wa mawasiliano hujilimbikiza