Coborâre cu gradient stocastic cu test Momentum

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce acumulează termenul de impuls în timpul antrenamentului?
   • Numărul total de epoci de instruire
   • O medie curentă (ponderată exponențial) a gradienților din trecut
   • Dimensiunea setului de date
   • Istoricul preciziei modelului
2. Într-o râpă lungă și îngustă, ce problemă suferă SGD simplu pe care impulsul ajută la rezolvarea?
   • Se revarsă numeric
   • Oprește calcularea gradienților
   • Mărește automat rata de învățare
   • Se deplasează în zig-zag de-a lungul pereților abrupți în timp ce avansează încet de-a lungul podelei
3. O valoare implicită comună pentru coeficientul de impuls este:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Care analogie fizică este folosită cel mai des pentru a descrie impulsul?
   • Un pendul care se balansează pentru totdeauna
   • O primăvară care se trage înapoi
   • O minge grea care se rostogolește la vale
   • Înghețarea apei
5. Aproximativ cât de mult amplifică impulsul pasul efectiv într-o direcție consistentă când beta = 0,9?
   • De vreo 2 ori
   • De aproximativ 0,1 ori
   • Fara amplificare
   • De vreo 10 ori
6. Ce optimizator modern încorporează o estimare a primului moment în stilul de impuls?
   • metoda lui Newton
   • Adam
   • K-înseamnă
   • Căutare aleatorie
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely