Rehber bağlantılı sınav · Orta Seviye

Gradyan İnişi Testi

Düz gradyan-iniş yönünü, öğrenme hızı adımlarını, örneklenmiş gradyanları, momentumu, Adam adaptasyonunu, sayısal güncellemeleri ve sabit nokta limitlerini gözden geçirin.

İlgili kılavuz yollarıGradyan İnişi
Soru 1 arasında 8

In plain gradient descent, which direction is used relative to the objective's gradient?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. In plain gradient descent, which direction is used relative to the objective's gradient?
    • The negative-gradient direction
    • The positive-gradient direction
    • An arbitrary perpendicular direction by definition
    • A direction chosen without evaluating any gradient
  2. Öğrenme hızı neyi kontrol eder?
    • Modeldeki katman sayısı
    • Modelin kaç sınıfı tahmin edebileceği
    • Optimizasyon sırasında atılan her adımın boyutu
    • Kullanılan eğitim verisi miktarı
  3. How does a mini-batch gradient relate to the full selected training-data objective?
    • It uses no examples
    • It is computed on the batch and used as an estimate of the full-data gradient
    • It must equal the full-data gradient on every step
    • It only exists for images
  4. Çok yüksek bir öğrenme oranı hangi soruna neden olabilir?
    • Eğitim son derece yavaş ama istikrarlı hale gelir
    • Model degradeyi göz ardı eder
    • Veri kümesi bozulur
    • Model minimumu aşıyor ve farklılaşabilir
  5. What information does momentum carry into later gradient-descent updates?
    • Only the model's vocabulary size
    • A permanent deletion of all earlier gradients
    • A running weighted combination of earlier gradients
    • An unrelated random reset of every weight
  6. Düz degrade inişle karşılaştırıldığında Adam optimize edicinin temel özelliği nedir?
    • Her parametre için etkili öğrenme oranını uyarlar
    • Her parametre için tek bir sabit adım kullanır
    • Degradeler gerektirmez
    • Yalnızca çıktı katmanını eğitir
  7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
    • Two-point-three
    • One-point-nine-seven
    • üç
    • One-point-seven
  8. What does a zero gradient fail to prove for a nonconvex training objective?
    • That the gradient value is zero at the evaluated point
    • That the current point is a global minimum
    • That the objective has been evaluated locally
    • That a stationary-point condition holds