সিকোয়েন্স প্যারালেলিজম এবং রিং অ্যাটেনশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. ক্রম সমান্তরালতা কোন মাত্রার সাথে ডেটাকে বিভক্ত করে?
   • লুকানো/বৈশিষ্ট্যের মাত্রা
   • টোকেন (ক্রম) মাত্রা
   • শুধুমাত্র ব্যাচের মাত্রা
   • স্তর সংখ্যা
2. রিং-এ সাজানো GPU-এর মধ্যে রিং অ্যাটেনশন কী পাস করে?
   • সম্পূর্ণ মডেল ওজন
   • অপ্টিমাইজার রাষ্ট্র
   • চূড়ান্ত লগিট
   • কী/মান ব্লক
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. কেন রিং অ্যাটেনশনে সম্পূর্ণ কে/ভি সঞ্চয় করার জন্য কোনো একক GPU প্রয়োজন হয় না?
   • এটি বেশিরভাগ কী বাতিল করে
   • এটি একটি ছোট মডেল ব্যবহার করে
   • K/V ব্লকে স্ট্রিম করা হয় এবং শুধুমাত্র আংশিক ফলাফল জমা হয়
   • মনোযোগ আনুমানিক, সঠিক নয়
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. রিং অ্যাটেনশন লোড ব্যালেন্সিংয়ের জন্য কার্যকারণ মাস্কিং কী জটিলতার পরিচয় দেয়?
   • এটি মডেলটিকে অ-পার্থক্যযোগ্য করে তোলে
   • পরবর্তী টোকেনগুলি আরও কীগুলিতে উপস্থিত হয়, যার ফলে প্রতি GPU-এ অসম কাজ হয়
   • এটি একটি রিং জন্য প্রয়োজনীয়তা দূর করে
   • এটি পরামিতি সংখ্যা দ্বিগুণ করে
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • শব্দভান্ডার আকার কমাতে
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future