Maswali ya Lookahead na Simba Optimizers

Majibu na maelezo huonekana unapojibu maswali.

1. Ni hatua gani ya kubainisha ya kimahesabu katika sasisho la uzani la kiboreshaji cha Simba?
   • Kuchukua ishara ya neno lenye msingi wa kasi
   • Kugawanya upinde rangi kwa wastani wake wa kukimbia wa mraba
   • Kuhesabu makadirio ya mpangilio wa pili wa Hessian
   • Uzani wa wastani katika vituo vingi vya ukaguzi
2. Lookahead inaundaje uboreshaji wake?
   • Inatumia seti moja ya uzani iliyosasishwa mara mbili kwa kila hatua
   • Hudumisha uzani 'haraka' uliosasishwa na kiboreshaji msingi na uzani 'polepole' ambao huingiliana nao mara kwa mara.
   • Huondoa kasi kabisa ili kuhifadhi kumbukumbu
   • Inafunza mitandao miwili na kupeana wastani wa matokeo yao
3. Je, kiboreshaji cha Simba kiligunduliwaje hapo awali?
   • Kwa kuipata kwa mkono kutoka kwa nadharia ya uboreshaji ya mbonyeo
   • Kwa wastani wa masasisho ya SGD na Adam
   • Kupitia utafutaji wa programu ya kiishara otomatiki juu ya kanuni za viboreshaji
   • Kutoka kwa uigaji wa fizikia wa mwendo wa chembe
4. Ikilinganishwa na Adamu, ni nini faida kuu ya kumbukumbu ya Simba?
   • Haihifadhi serikali hata kidogo
   • Inatumia uzani wa nusu-usahihi moja kwa moja
   • Inashiriki hali katika tabaka zote
   • Huweka buffer moja tu ya kasi badala ya tensor za serikali mbili za Adamu
5. Kwa nini Simba kwa kawaida huhitaji kiwango kidogo cha kujifunza kuliko Adamu?
   • Kwa sababu utendakazi wa ishara hufanya ukubwa wa kila sasisho kuwa sawa, na kuongeza hatua kwa ufanisi
   • Kwa sababu haitumii kasi
   • Kwa sababu inasindika batches kubwa
   • Kwa sababu inalemaza kuoza kwa uzito
6. Faida ya vitendo ya Lookahead ni kwamba inaelekea kufanya mafunzo:
   • Nyeti zaidi kwa uchaguzi wa hyperparameters
   • Imara zaidi na imara, na oscillation iliyopunguzwa
   • Polepole kwa hatua kwa kipengele cha kumi
   • Haioani na Adam au SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop