Lookahead ve Lion Optimizers Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Lion optimizer'ın ağırlık güncellemesinde tanımlayıcı hesaplama adımı nedir?
   • Momentum bazlı bir terimin işaretini almak
   • Degradenin kareli ortalamaya bölünmesi
   • İkinci dereceden Hessian yaklaşımının hesaplanması
   • Birden fazla kontrol noktasında ağırlıkların ortalamasını alma
2. Lookahead optimizasyonunu nasıl yapılandırıyor?
   • Adım başına iki kez güncellenen tek bir ağırlık seti kullanır
   • Bir temel optimize edici tarafından güncellenen 'hızlı' ağırlıkları ve bunlara periyodik olarak enterpolasyon yapan 'yavaş' ağırlıkları korur
   • Bellekten tasarruf etmek için momentumu tamamen ortadan kaldırır
   • İki ağı eğitir ve çıktılarının ortalamasını alır
3. Lion optimizer ilk olarak nasıl keşfedildi?
   • Dışbükey optimizasyon teorisinden elle türetilerek
   • SGD ve Adam'ın güncellemelerinin ortalamasını alarak
   • Optimize edici algoritmalar üzerinden otomatik sembolik program araması sayesinde
   • Parçacık hareketinin fizik simülasyonundan
4. Adem'le karşılaştırıldığında Aslan'ın önemli hafıza avantajı nedir?
   • Hiçbir durumu saklamaz
   • Yarı hassas ağırlıkları otomatik olarak kullanır
   • Durumu tüm katmanlarda paylaşır
   • Adam'ın iki durum tensörü yerine yalnızca bir momentum tamponunu tutar
5. Lion neden genellikle Adam'dan daha düşük bir öğrenme oranına ihtiyaç duyuyor?
   • İşaretleme işlemi her güncellemenin büyüklüğünü tek biçimli hale getirerek adımı etkili bir şekilde ölçeklendirdiğinden
   • Çünkü momentum kullanmaz
   • Çünkü daha büyük partileri işliyor
   • Çünkü kilo kaybını engeller
6. Lookahead'in pratik bir faydası, eğitim yapma eğiliminde olmasıdır:
   • Hiperparametre seçimine daha duyarlı
   • Daha az salınımla daha kararlı ve sağlam
   • Adım başına on kat daha yavaş
   • Adam veya SGD ile uyumsuz
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop