اختبار مرتبط بالدليل · متوسط المستوى
اختبار أنماط الانتباه المتناثر
قارن بين اتصالات الاهتمام المتفرقة المحلية والموسعة والعشوائية والعالمية وكيف تتخطى النوى المحسنة الإدخالات غير المستخدمة في معالجة المدخلات الطويلة.
سؤال 1 من 8
لماذا يكون الاهتمام الذاتي الكامل باهظ الثمن في التسلسلات الطويلة؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- لماذا يكون الاهتمام الذاتي الكامل باهظ الثمن في التسلسلات الطويلة؟
- تكلفتها تنمو مع مربع طول التسلسل
- لا يمكنه استخدام وحدات معالجة الرسومات
- إنه يعمل فقط على الكلمات القصيرة
- لا يتطلب أي ذاكرة على الإطلاق
- ما هو الاهتمام بالنافذة المنزلقة (المحلية)؟
- يحضر كل رمز إلى قاعدة بيانات عشوائية
- كل رمز يخدم جيرانه القريبين فقط
- الرموز لا تحضر أي شيء أبدًا
- يحضر كل رمز لجميع الرموز مرتين
- ما هو الغرض من "الرموز العالمية" في الاهتمام المتناثر؟
- لإبطاء النموذج
- لتخزين الصور
- لتكون بمثابة محاور تحضر كل شيء وكل شيء يهتم به
- لاستبدال المفردات
- ما النموذج الذي أثبت أن الجمع بين الاهتمام العشوائي والنافذة والعالمية يحافظ على تعبير الانتباه الكامل؟
- ريسنيت
- Word2Vec
- AlexNet
- بيج بيرد
- كيف يتم تقريبًا قياس عدد الاتصالات في الاهتمام المتناثر المصمم جيدًا؟
- تقريبًا خطيًا بطول التسلسل
- تربيعيا مع طول التسلسل
- لا يعتمد على الطول
- أضعافا مضاعفة مع طول التسلسل
- What do strided or dilated sparse-attention patterns allow?
- يحسبها ثم يضعها على الصفر
- Skip ahead to reach distant context with fewer attention links
- يرسلهم إلى خادم آخر
- يخزنها بشكل دائم
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query