Quiz collegato alla guida · Medio Livello

Quiz sulla media del peso stocastico

Controlla la media ponderale SWA, il comportamento del tasso di apprendimento, la ricalibrazione della normalizzazione batch e il modo in cui un singolo modello medio differisce da un insieme.

Percorsi guida correlatiMedia del peso stocastico
Domanda 1 di 8

Qual è la media effettiva della media del peso stocastico?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è la media effettiva della media del peso stocastico?
    • I pesi del modello campionati in più punti nelle fasi avanzate dell'addestramento
    • Le previsioni di diversi modelli addestrati separatamente
    • I gradienti calcolati su tutti i mini-batch
    • I tassi di apprendimento utilizzati durante ciascuna epoca
  2. Perché SWA tende a migliorare la generalizzazione?
    • Memorizza il set di allenamento in modo più preciso
    • Trova minimi più ampi e più piatti che sono più robusti su dati invisibili
    • Aumenta il numero di parametri nel modello
    • Elimina la necessità di un set di convalida
  3. Quale passaggio aggiuntivo richiede SWA per le reti che utilizzano la normalizzazione batch?
    • Riqualificare la rete da zero
    • Raddoppiando la dimensione del lotto
    • Un ulteriore passaggio in avanti per ricalcolare le statistiche di esecuzione di BN
    • Rimozione di tutti i livelli di esclusione
  4. Quale comportamento del tasso di apprendimento viene generalmente utilizzato durante la fase di calcolo della media SWA?
    • Un tasso di apprendimento è decaduto esattamente a zero
    • Un tasso di apprendimento pari a uno per la stabilità
    • Nessun tasso di apprendimento poiché la formazione è congelata
    • Un tasso di apprendimento costante o ciclico, relativamente alto
  5. Come si confronta il costo di inferenza di SWA con un insieme tradizionale di modelli N?
    • Costa all'incirca un singolo modello, poiché il risultato è un set di pesi
    • È N volte più costoso
    • È identico ai modelli N in esecuzione
    • Non può essere utilizzato per fare inferenze
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress