تسلسل التوازي ومسابقة الانتباه الدائري

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. في أي بُعد يقوم توازي التسلسل بتقسيم البيانات؟
   • البعد المخفي/الميزة
   • البعد الرمزي (التسلسل).
   • البعد الدفعة فقط
   • عدد الطبقات
2. ما الذي يمرره Ring Attention بين وحدات معالجة الرسومات المرتبة في حلقة؟
   • اوزان الموديل كامله
   • الدول محسن
   • السجلات النهائية
   • كتل المفتاح/القيمة
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. لماذا لا يتطلب Ring Attention أي وحدة معالجة رسومات واحدة لتخزين K/V بالكامل؟
   • يتجاهل معظم المفاتيح
   • ويستخدم نموذج أصغر
   • يتم بث K/V على شكل كتل ويتم تجميع النتائج الجزئية فقط
   • الاهتمام تقريبي وليس دقيقًا
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. ما هي المضاعفات التي يقدمها الإخفاء السببي لموازنة تحميل Ring Attention؟
   • يجعل النموذج غير قابل للتمييز
   • تهتم الرموز المميزة اللاحقة بمزيد من المفاتيح، مما يتسبب في عمل غير متساوٍ لكل وحدة معالجة رسومات
   • يلغي الحاجة إلى الحلبة
   • يضاعف عدد المعلمات
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • لتقليل حجم المفردات
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future