الیکٹرا پری ٹریننگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ELECTRA ماسکڈ لینگویج ماڈلنگ کے بجائے کونسا پری ٹریننگ ٹاسک استعمال کرتا ہے؟
   • ٹوکن کا پتہ لگانے کو تبدیل کر دیا گیا۔
   • اگلے جملے کی پیشن گوئی
   • خود بخود اگلے لفظ کی پیشن گوئی
   • پرموٹیشن لینگویج ماڈلنگ
2. الیکٹرا BERT سے زیادہ کمپیوٹنگ موثر کیوں ہے؟
   • یہ ایک بہت چھوٹی ذخیرہ الفاظ استعمال کرتا ہے۔
   • یہ تمام ٹوکنز پر سیکھنے کے سگنل کی گنتی کرتا ہے، نہ صرف نقاب پوش والے
   • یہ صرف نقاب پوش 15% ٹوکن پر ٹرین کرتا ہے۔
   • یہ توجہ کے طریقہ کار کو مکمل طور پر چھوڑ دیتا ہے۔
3. الیکٹرا میں چھوٹا جنریٹر نیٹ ورک کیا کردار ادا کرتا ہے؟
   • یہ معیار کے لحاظ سے حتمی نتائج کی درجہ بندی کرتا ہے۔
   • یہ ٹریننگ کے بعد ماڈل کو کمپریس کرتا ہے۔
   • یہ امتیازی سلوک کرنے والے کو فیصلہ کرنے کے لیے قابلِ تعمیل متبادل ٹوکن تیار کرتا ہے۔
   • یہ زبانوں کے درمیان متن کا ترجمہ کرتا ہے۔
4. پری ٹریننگ مکمل ہونے کے بعد جنریٹر کا کیا ہوتا ہے؟
   • یہ بہاو کے کام کے لیے ٹھیک ہے۔
   • یہ امتیاز کرنے والے کے ساتھ ملا ہوا ہے۔
   • یہ نسل کے لیے ڈیکوڈر بن جاتا ہے۔
   • اسے ضائع کر دیا جاتا ہے۔ صرف discriminator استعمال کیا جاتا ہے
5. الیکٹرا کو بنیادی طور پر کن تنظیموں کے محققین نے تیار کیا تھا؟
   • Google اور سٹینفورڈ
   • Meta AI اور NYU
   • OpenAI اور Microsoft
   • ڈیپ مائنڈ اور آکسفورڈ
6. بعد کے کس ماڈل نے ELECTRA کے بدلے ٹوکن کا پتہ لگانے کے خیال کو بڑھایا؟
   • GPT-2
   • DeBERta-v3
   • T5
   • Word2Vec
7. What happens if ELECTRA’s generator proposes the original token at a position?
   • It is always labeled replaced because the generator proposed it
   • The position is removed from the input
   • That token is treated as original by the discriminator’s replaced-token label
   • The whole sequence is discarded
8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
   • Compare model names alone
   • Assume every ELECTRA run uses one fixed compute ratio
   • Ignore generator training cost
   • Specify model size, data, training budget, and evaluation setting