Test de normalizare a loturilor

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce normalizează normalizarea loturilor?
   • Intrările într-un strat, prin exemplele din mini-lotul curent
   • Etichetele de ieșire finale ale rețelei
   • Programul ratei de învățare în timp
   • Dimensiunea setului de date de antrenament
2. De ce normalizarea loturilor include parametrii care pot fi învățați gamma și beta?
   • Pentru a mări dimensiunea setului de date
   • Pentru a lăsa rețeaua să scaleze și să schimbe valorile normalizate, păstrând puterea de reprezentare
   • Pentru a scăpa aleatoriu neuronii în timpul antrenamentului
   • Pentru a calcula funcția de pierdere
3. Care este un beneficiu practic citat în mod obișnuit al normalizării loturilor?
   • Elimină necesitatea oricăror date de antrenament
   • Acesta garantează că modelul nu se poate supraadapta
   • Permite rate de învățare mai mari și o convergență mai rapidă și mai stabilă
   • Îndepărtează necesitatea unei funcții de activare
4. La momentul deducerii (predicții asupra datelor noi), ce statistici folosește normalizarea loturilor?
   • Doar media și varianța intrării unice curente
   • Statistici generate aleatoriu de fiecare dată
   • Statisticile setului de testare calculate în avans
   • Medii curente ale mediei și varianței acumulate în timpul antrenamentului
5. De ce normalizarea loturilor se poate comporta prost cu dimensiuni foarte mici de lot?
   • Statisticile loturilor devin estimări zgomotoase și nesigure ale distribuției adevărate
   • Loturile mici fac modelul prea mare pentru a se potrivi în memorie
   • Dezactivează funcțiile de activare
   • Loturi mici forțează utilizarea regularizării L1
6. Care tehnică de normalizare este folosită cel mai frecvent în arhitecturile transformatoarelor ca alternativă la normalizarea loturilor?
   • Normalizarea abandonului
   • Normalizarea stratului
   • L2 normalizarea pierderii
   • Tăiere în gradient
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function