लुकहेड और लायन ऑप्टिमाइज़र क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. लायन ऑप्टिमाइज़र के वज़न अपडेट में परिभाषित कम्प्यूटेशनल चरण क्या है?
   • संवेग-आधारित पद का संकेत लेना
   • ग्रेडिएंट को उसके वर्ग रनिंग औसत से विभाजित करना
   • दूसरे क्रम के हेस्सियन सन्निकटन की गणना
   • कई चौकियों पर औसत वजन
2. लुकहेड अपने अनुकूलन की संरचना कैसे करता है?
   • यह प्रति चरण दो बार अद्यतन किए गए वज़न के एक सेट का उपयोग करता है
   • यह बेस ऑप्टिमाइज़र द्वारा अद्यतन किए गए 'तेज़' वज़न और 'धीमे' वज़न को बनाए रखता है जो समय-समय पर उनकी ओर प्रक्षेपित होते हैं
   • यह स्मृति को बचाने के लिए गति को पूरी तरह से हटा देता है
   • यह दो नेटवर्कों को प्रशिक्षित करता है और उनके आउटपुट का औसत निकालता है
3. लायन ऑप्टिमाइज़र मूल रूप से कैसे खोजा गया था?
   • इसे उत्तल अनुकूलन सिद्धांत से हाथ से प्राप्त करके
   • एसजीडी और एडम के अपडेट का औसत निकालकर
   • ऑप्टिमाइज़र एल्गोरिदम पर स्वचालित प्रतीकात्मक कार्यक्रम खोज के माध्यम से
   • कण गति के भौतिकी अनुकरण से
4. एडम की तुलना में, लायन का प्रमुख स्मृति लाभ क्या है?
   • यह बिल्कुल भी कोई स्थिति संग्रहीत नहीं करता है
   • यह स्वचालित रूप से आधे-सटीक वजन का उपयोग करता है
   • यह सभी परतों में स्थिति साझा करता है
   • यह एडम के दो स्टेट टेंसर के बजाय केवल एक मोमेंटम बफर रखता है
5. लायन को आम तौर पर एडम की तुलना में कम सीखने की दर की आवश्यकता क्यों होती है?
   • क्योंकि साइन ऑपरेशन हर अपडेट के परिमाण को एक समान बनाता है, प्रभावी ढंग से चरण को मापता है
   • क्योंकि यह किसी संवेग का उपयोग नहीं करता है
   • क्योंकि यह बड़े बैच को प्रोसेस करता है
   • क्योंकि यह वजन घटाने को अक्षम करता है
6. लुकहेड का एक व्यावहारिक लाभ यह है कि यह प्रशिक्षण प्रदान करता है:
   • हाइपरपैरामीटर की पसंद के प्रति अधिक संवेदनशील
   • कम दोलन के साथ अधिक स्थिर और मजबूत
   • प्रति कदम दस गुना तक धीमा
   • एडम या एसजीडी के साथ असंगत
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop