Rehber bağlantılı sınav · Sert Seviye

İkinci Dereceden Optimizasyon ve Newton Yöntemleri Testi

Eğrinin bir optimizasyon adımını nasıl değiştirdiğini, Newton benzeri yöntemlerin neyi sakladığını ve Newton davranışının ikinci dereceden bir hedefe ne zaman bağlı olduğunu test eder.

İlgili kılavuz yollarıİkinci Dereceden Optimizasyon ve Newton Yöntemleri
Soru 1 arasında 8

Newton'un yöntemi düz gradyan inişinin kullanmadığı hangi bilgiyi kullanıyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Newton'un yöntemi düz gradyan inişinin kullanmadığı hangi bilgiyi kullanıyor?
    • Eğrilik, Hessian matrisindeki ikinci türevler aracılığıyla
    • Küresel minimumun tam yeri
    • Öğrenme oranı çizelgesi
    • Eğitim örneklerinin sayısı
  2. Mükemmel derecede ikinci dereceden bir hedef için, Newton'un yönteminin minimuma ulaşması için kaç adım gerekir?
    • Tam on adım
    • Bir adım
    • Gradyan inişiyle aynı sayı
    • Asla birleşmiyor
  3. Newton'un tam yöntemi neden milyar parametreli sinir ağları için pratik değil?
    • Gradyan hesaplanamıyor
    • Sinir ağlarında ikinci türevler her zaman sıfırdır
    • Hessian, N'ye N'dir ve ters çevirmek için yaklaşık N kare bellek ve N küp hesaplama maliyeti vardır.
    • Yalnızca görseller üzerinde çalışır
  4. BFGS gibi yarı-Newton yöntemleri Hessian'ın maliyetinden kaçınmak için ne yapar?
    • Degradeyi tamamen görmezden geliyorlar
    • Eğriyi rastgele tahmin ediyorlar
    • Sorunu doğrusal bir soruna dönüştürürler
    • Ardışık gradyan farklarından ters Hessian'ın bir yaklaşımını oluştururlar
  5. L-BFGS, BFGS'ye kıyasla belleği nasıl azaltır?
    • Tam matris yerine yalnızca son birkaç degrade ve adım vektörünü saklar
    • Yalnızca tek duyarlıklı şamandıralar kullanır
    • Her adımdan sonra degradeyi atar
    • Daha az parametreyle eğitim verir
  6. Hangi modern yaklaşım, büyük sinir ağı eğitimini hızlandırmak için eğriliğe yaklaşır?
    • Tek-hot kodlama
    • K-FAC ve Shampoo gibi Kronecker faktörlü yöntemler
    • Hiçbir değişiklik yapılmadan düz stokastik gradyan inişi
    • Bırakma
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes