تسلسل متوازی اور رنگ توجہ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ترتیب متوازی ڈیٹا کو کس جہت کے ساتھ تقسیم کرتی ہے؟
   • پوشیدہ/خصوصیت کا طول و عرض
   • ٹوکن (سلسلہ) طول و عرض
   • صرف بیچ کا طول و عرض
   • تہوں کی تعداد
2. انگوٹھی میں ترتیب دیئے گئے GPUs کے درمیان Ring Attention کیا گزرتی ہے؟
   • مکمل ماڈل وزن
   • اصلاح کنندہ بیان کرتا ہے۔
   • فائنل لاگٹس
   • کلیدی/ویلیو بلاکس
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. پورے K/V کو ذخیرہ کرنے کے لیے Ring Attention کو کسی ایک GPU کی ضرورت کیوں نہیں ہے؟
   • یہ زیادہ تر چابیاں ضائع کر دیتا ہے۔
   • یہ ایک چھوٹا ماڈل استعمال کرتا ہے۔
   • K/V کو بلاکس میں سٹریم کیا جاتا ہے اور صرف جزوی نتائج جمع ہوتے ہیں۔
   • توجہ تخمینی ہے، قطعی نہیں۔
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. رِنگ اٹینشن لوڈ بیلنسنگ کے لیے causal masking کیا پیچیدگی پیدا کرتا ہے؟
   • یہ ماڈل کو ناقابل تفریق بناتا ہے۔
   • بعد میں ٹوکن مزید کلیدوں پر حاضر ہوتے ہیں، جس کی وجہ سے فی GPU ناہموار کام ہوتا ہے۔
   • یہ انگوٹھی کی ضرورت کو دور کرتا ہے۔
   • یہ پیرامیٹر کی گنتی کو دوگنا کرتا ہے۔
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • الفاظ کا سائز کم کرنے کے لیے
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future