Quiz collegato alla guida · Medio Livello
Quiz sulla media del peso stocastico
Controlla la media ponderale SWA, il comportamento del tasso di apprendimento, la ricalibrazione della normalizzazione batch e il modo in cui un singolo modello medio differisce da un insieme.
Domanda 1 di 8
Qual è la media effettiva della media del peso stocastico?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è la media effettiva della media del peso stocastico?
- I pesi del modello campionati in più punti nelle fasi avanzate dell'addestramento
- Le previsioni di diversi modelli addestrati separatamente
- I gradienti calcolati su tutti i mini-batch
- I tassi di apprendimento utilizzati durante ciascuna epoca
- Perché SWA tende a migliorare la generalizzazione?
- Memorizza il set di allenamento in modo più preciso
- Trova minimi più ampi e più piatti che sono più robusti su dati invisibili
- Aumenta il numero di parametri nel modello
- Elimina la necessità di un set di convalida
- Quale passaggio aggiuntivo richiede SWA per le reti che utilizzano la normalizzazione batch?
- Riqualificare la rete da zero
- Raddoppiando la dimensione del lotto
- Un ulteriore passaggio in avanti per ricalcolare le statistiche di esecuzione di BN
- Rimozione di tutti i livelli di esclusione
- Quale comportamento del tasso di apprendimento viene generalmente utilizzato durante la fase di calcolo della media SWA?
- Un tasso di apprendimento è decaduto esattamente a zero
- Un tasso di apprendimento pari a uno per la stabilità
- Nessun tasso di apprendimento poiché la formazione è congelata
- Un tasso di apprendimento costante o ciclico, relativamente alto
- Come si confronta il costo di inferenza di SWA con un insieme tradizionale di modelli N?
- Costa all'incirca un singolo modello, poiché il risultato è un set di pesi
- È N volte più costoso
- È identico ai modelli N in esecuzione
- Non può essere utilizzato per fare inferenze
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress