Lookahead اور Lion Optimizers کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. Lion optimizer کے وزن کی تازہ کاری میں وضاحتی کمپیوٹیشنل مرحلہ کیا ہے؟
   • رفتار پر مبنی اصطلاح کا نشان لینا
   • میلان کو اس کے مربع چلنے والے اوسط سے تقسیم کرنا
   • سیکنڈ آرڈر ہیسیئن تخمینہ کا حساب لگانا
   • متعدد چوکیوں پر اوسط وزن
2. Lookahead اس کی اصلاح کو کیسے بناتا ہے؟
   • یہ فی قدم دو بار اپ ڈیٹ کردہ وزن کا ایک سیٹ استعمال کرتا ہے۔
   • یہ بیس آپٹیمائزر کے ذریعے اپ ڈیٹ کردہ 'تیز' وزن اور 'سست' وزن کو برقرار رکھتا ہے جو وقتاً فوقتاً ان کی طرف متوجہ ہوتے ہیں۔
   • یہ میموری کو بچانے کے لیے رفتار کو مکمل طور پر ہٹاتا ہے۔
   • یہ دو نیٹ ورکس کو تربیت دیتا ہے اور ان کی پیداوار کا اوسط لیتا ہے۔
3. Lion optimizer اصل میں کیسے دریافت ہوا؟
   • اسے محدب اصلاح کے نظریہ سے ہاتھ سے اخذ کرکے
   • ایس جی ڈی اور ایڈم کی تازہ کاریوں کی اوسط سے
   • خودکار علامتی پروگرام کے ذریعے آپٹیمائزر الگورتھم پر تلاش کریں۔
   • ذرات کی حرکت کی طبیعیات کے تخروپن سے
4. آدم کے مقابلے میں، شیر کی یادداشت کا ایک اہم فائدہ کیا ہے؟
   • یہ کسی بھی ریاست کو ذخیرہ نہیں کرتا ہے۔
   • یہ خود کار طریقے سے نصف صحت سے متعلق وزن کا استعمال کرتا ہے
   • یہ تمام پرتوں میں ریاست کا اشتراک کرتا ہے۔
   • یہ آدم کے دو ریاستی ٹینسر کے بجائے صرف ایک مومینٹم بفر رکھتا ہے۔
5. شیر کو عام طور پر آدم سے کم سیکھنے کی شرح کیوں درکار ہوتی ہے؟
   • کیونکہ سائن آپریشن ہر اپ ڈیٹ کی شدت کو یکساں بناتا ہے، مؤثر طریقے سے قدم کو بڑھاتا ہے۔
   • کیونکہ یہ کوئی رفتار استعمال نہیں کرتا
   • کیونکہ یہ بڑے بیچوں پر کارروائی کرتا ہے۔
   • کیونکہ یہ وزن میں کمی کو روکتا ہے۔
6. Lookahead کا ایک عملی فائدہ یہ ہے کہ یہ تربیت کرنے کا رجحان رکھتا ہے:
   • hyperparameters کے انتخاب کے لئے زیادہ حساس
   • زیادہ مستحکم اور مضبوط، کم دولن کے ساتھ
   • دس کے عنصر سے فی قدم سست
   • آدم یا SGD کے ساتھ مطابقت نہیں رکھتا
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop