Test legat de ghid · Mediu Nivel
Testul de mediere a greutății stocastice
Verifică media ponderii SWA, comportamentul ratei de învățare, recalibrarea normalizării lotului și modul în care un singur model mediat diferă de un ansamblu.
Întrebare 1 de 8
Care este media stocatică a greutății de fapt?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- Care este media stocatică a greutății de fapt?
- Greutățile modelului eșantionate în mai multe puncte la sfârșitul antrenamentului
- Predicțiile mai multor modele antrenate separat
- Gradienții calculati pentru toate mini-loturile
- Ratele de învățare utilizate în fiecare epocă
- De ce SWA tinde să îmbunătățească generalizarea?
- Memorează mai precis setul de antrenament
- Găsește minime mai largi, mai plate, care sunt mai robuste pe date nevăzute
- Mărește numărul de parametri din model
- Elimină necesitatea unui set de validare
- Ce pas suplimentar necesită SWA pentru rețelele care utilizează normalizarea loturilor?
- Reantrenarea rețelei de la zero
- Dublarea dimensiunii lotului
- O trecere înainte suplimentară pentru a recalcula statisticile de rulare a BN
- Îndepărtarea tuturor straturilor de abandon
- Ce comportament al ratei de învățare este utilizat în mod obișnuit în timpul fazei de mediere a SWA?
- O rată de învățare a scăzut la exact zero
- O rată de învățare de unu pentru stabilitate
- Nicio rată de învățare, deoarece antrenamentul este înghețat
- O rată de învățare constantă sau ciclică, relativ ridicată
- Cum se compară costul de inferență al SWA cu un ansamblu tradițional de N modele?
- Costă aproximativ un singur model, deoarece rezultatul este un set de greutăți
- Este de N ori mai scump
- Este identic cu modelele N care rulează
- Nu poate fi folosit pentru inferență
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress