قیاس آرائی پر مبنی سلسلہ بندی اور ملٹی ٹوکن پیشن گوئی کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. جی پی یو پر معیاری آٹوریگریسو ڈی کوڈنگ اکثر سست کیوں ہوتی ہے؟
   • ٹوکن ایک وقت میں ایک تیار کیے جاتے ہیں، جس سے GPU فی قدم کم استعمال ہوتا ہے۔
   • GPU کی میموری فوری طور پر ختم ہو جاتی ہے۔
   • اسے ہر ٹوکن پر دوبارہ تربیت دینا ہوگی۔
   • الفاظ کا ذخیرہ بہت چھوٹا ہے۔
2. قیاس آرائی پر مبنی ضابطہ کشائی میں 'ڈرافٹر' کیا کرتا ہے؟
   • یہ اکیلے آخری جواب لکھتا ہے۔
   • یہ کئی امیدواروں کے مستقبل کے ٹوکن سستے میں تجویز کرتا ہے۔
   • یہ کم امکان والے ٹوکنز کو حذف کر دیتا ہے۔
   • یہ ماڈل کے وزن کو دباتا ہے۔
3. قیاس آرائی پر مبنی ضابطہ کشائی میں آؤٹ پٹ کوالٹی کیسے محفوظ ہے؟
   • امکانات کو صفر کر کے
   • ایک بڑی ذخیرہ الفاظ استعمال کرکے
   • توثیق کے ذریعے جو صرف ہدف کی تقسیم سے مماثل ٹوکن قبول کرتا ہے۔
   • تصدیق کو مکمل طور پر چھوڑ کر
4. میڈوسا طرز کی ملٹی ٹوکن پیشین گوئی کو کلاسک قیاس آرائی پر مبنی ضابطہ کشائی سے کیا فرق ہے؟
   • اسے دو الگ الگ بڑے ماڈلز کی ضرورت ہے۔
   • یہ صرف تصویر بنانے کے لیے کام کرتا ہے۔
   • یہ کسی بھی فارورڈ پاس کی ضرورت کو دور کرتا ہے۔
   • یہ اضافی ہلکے وزن کی پیشن گوئی کے سروں کو شامل کرتا ہے لہذا ایک ماڈل ڈرافٹ اور تصدیق کرتا ہے۔
5. ایک ٹرانسفارمر ڈی کوڈنگ کے دوران امیدواروں کی کئی پوزیشنوں کی تصدیق کیوں کر سکتا ہے؟
   • کیونکہ ضابطہ کشائی میموری بینڈ وڈتھ کا پابند ہے، کمپیوٹ باؤنڈ نہیں۔
   • کیونکہ یہ پورے انٹرنیٹ کو محفوظ کرتا ہے۔
   • کیونکہ توثیق توجہ کی تہوں کو چھوڑ دیتی ہے۔
   • کیونکہ GPU گھڑی کی رفتار دوگنی ہو جاتی ہے۔
6. کیا بنیادی طور پر قیاس آرائی یا کثیر ٹوکن طریقوں سے رفتار کا تعین کرتا ہے؟
   • GPU کا رنگ
   • فی قدم قبول شدہ ٹوکنز کی اوسط تعداد
   • ماڈل کے نام کی لمبائی
   • ڈسک کا سائز
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution