Maswali ya Kupunguza Uzito na Maswali ya Udhibiti wa L2

Majibu na maelezo huonekana unapojibu maswali.

1. Udhibiti wa L2 unaongeza nini kwenye kazi ya upotezaji?
   • Idadi ya tabaka kwenye mtandao
   • Adhabu kwa kiwango cha kujifunza
   • Idadi ya mifano ya mafunzo
   • Adhabu inayolingana na jumla ya uzani wa mraba
2. Ni shida gani kuu ambayo kuoza kwa uzito husaidia kuzuia?
   • Upakiaji wa data polepole
   • Overfitting, ambapo mtindo wa kukariri kelele katika data mafunzo
   • Kushindwa kwa vifaa
   • Lebo zisizo sahihi
3. Je, kuoza kwa uzito kunasukuma uzani wa modeli katika mwelekeo gani?
   • Kuelekea usio na mwisho
   • Kuelekea uzito mkubwa zaidi
   • Kuelekea sifuri
   • Kuelekea maadili nasibu
4. Kwa nini AdamW ilianzishwa?
   • Ili kupunguza uozo wa uzani kutoka kwa sasisho la gradient inayoweza kubadilika ili uozo uwe na tabia ipasavyo
   • Ili kuondoa gradient kabisa
   • Kufanya mafunzo polepole kwa makusudi
   • Ili kuondoa hitaji la kiwango cha kujifunza
5. Kwa asili ya kawaida ya gradient ya stochastic, urekebishaji wa L2 na uozo wa uzito unahusianaje?
   • Wao daima ni kinyume
   • Zinalingana kimahesabu
   • Kuoza kwa uzito hulemaza gradient
   • L2 inafanya kazi kwa SGD pekee kwa kasi
6. Je, mgawo wa lambda unadhibiti nini katika urekebishaji wa L2?
   • Ukubwa wa kundi
   • Idadi ya enzi
   • Kitendaji cha kuwezesha
   • Nguvu ya adhabu kwa uzani mkubwa
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size