قیاس آرائی پر مبنی ڈیکوڈنگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. قیاس آرائی پر مبنی ضابطہ کشائی کس طرح ایک بڑے ماڈل سے جنریشن کو تیز کرتی ہے؟
   • ایک چھوٹا ڈرافٹ ماڈل متعدد ٹوکنز کا اندازہ لگاتا ہے جن کی بڑے ماڈل متوازی طور پر تصدیق کرتے ہیں۔
   • ماڈل کو مستقل طور پر نصف سائز تک کمپریس کرنا
   • توجہ کے طریقہ کار کو ہٹانا
   • ماڈل کو مزید ڈیٹا پر تربیت دینا
2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
   • Each token requires internet access
   • Repeated reads of large model weights can make decoding memory-bandwidth bound
   • The model permanently stores a full copy of every possible output
   • The tokenizer performs the model’s matrix multiplications
3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
   • The whole conversation is thrown away and restarted from scratch
   • ڈرافٹ ماڈل کو فوری طور پر دوبارہ تربیت دی جاتی ہے۔
   • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
   • آؤٹ پٹ کا معیار مستقل طور پر گر جاتا ہے۔
4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
   • It is always lower quality but faster
   • It is identical only when the draft model is larger
   • It becomes deterministic regardless of target sampling
   • It is identical in distribution
5. قیاس آرائی پر مبنی ضابطہ کشائی سے سب سے زیادہ براہ راست رفتار کا تعین کیا کرتا ہے؟
   • ڈرافٹ ماڈل کے اندازوں کی قبولیت کی شرح
   • GPU کا رنگ
   • ماڈل کے نام کی لمبائی
   • دن کا وقت
6. میڈوسا اور ایگل میں کیا چیز مشترک ہے؟
   • انہیں کوانٹم ہارڈ ویئر کی ضرورت ہوتی ہے۔
   • وہ الگ الگ اسٹینڈ ڈرافٹ ماڈل کی ضرورت کو ختم کرتے ہیں۔
   • وہ ہدف ماڈل کو حذف کرتے ہیں۔
   • وہ صرف تصاویر پر کام کرتے ہیں۔
7. What should a serving team measure before claiming speculative decoding will speed up its workload?
   • Only the target model’s parameter count
   • Only whether the draft produces fluent text
   • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
   • The number of tokenizer files
8. In exact speculative sampling, what happens when a proposed token is rejected?
   • The whole conversation is discarded
   • The target model is permanently changed
   • The rejected token is kept without verification
   • A correction step samples from the distribution needed to preserve the target model’s output distribution