Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Kurekebisha Tabaka

Hukagua takwimu za LayerNorm na vigezo vya kuunganisha, tabia yake ya ukubwa wa kundi, epsilon, RMSNorm na uwekaji kabla ya kawaida. katika mitandao ya kina.

Njia za mwongozo zinazohusianaUrekebishaji wa Tabaka
Swali 1 ya 8

Urekebishaji wa safu unajumuisha nini maana na tofauti zake?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Urekebishaji wa safu unajumuisha nini maana na tofauti zake?
    • Katika sifa za mfano mmoja
    • Katika mifano yote katika kundi-dogo
    • Katika uzani wote kwenye mtandao
    • Katika vipindi vingi vya mafunzo
  2. Kwa nini urekebishaji wa safu unapendelea zaidi ya urekebishaji wa kundi katika transfoma?
    • Inahitaji saizi kubwa ya batch
    • Haitegemei saizi ya bechi na inashughulikia mpangilio wa urefu tofauti
    • Huondoa hitaji la vigezo vyovyote vinavyoweza kujifunza
    • Inafanya kazi tu wakati wa uelekezaji
  3. Je, vigezo vinavyoweza kusomeka vya gamma na beta huruhusu LayerNorm kufanya nini?
    • Chagua kiwango cha kujifunza
    • Weka idadi ya tabaka
    • Weka upya ukubwa na usogeze pato lililosawazishwa ili mtandao uweze kurejesha uwasilishaji muhimu
    • Ondoa hitaji la kitendakazi cha kuwezesha
  4. Je, RMSNorm inatofautianaje na LayerNorm ya kawaida?
    • Inasawazisha kwenye kundi badala yake
    • Haitumii vigezo na hakuna mgawanyiko
    • Inafanya kazi kwenye picha tu
    • Inaruka maana ya kutoa na inagawanya tu kwa mzizi-maana-mraba
  5. Ni shida gani ambayo urekebishaji wa safu kimsingi husaidia kutatua katika mitandao ya kina?
    • Uamilisho unaoteleza kwa mizani tofauti sana, ambayo hudhoofisha mafunzo
    • Nafasi ya diski inaisha
    • Kuchagua mkusanyiko sahihi wa data
    • Kusimba uzani wa mfano
  6. Kwa nini uwekaji wa 'kawaida' mara nyingi hutumiwa katika vibadilishaji vya kina sana?
    • Inafanya mfano mdogo
    • Kurekebisha kabla ya kila safu ndogo hufanya rafu za kina kuwa rahisi na thabiti zaidi kutoa mafunzo
    • Huondoa utaratibu wa tahadhari
    • Inaongeza kiwango cha kujifunza mara mbili kiotomatiki
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling